涯倦客，山中歸路，望斷故園心眼。
燕子樓空，佳人何在，空鎖樓中燕。
古今如夢，何曾夢覺，但有舊歡新怨。
異時對，黃樓夜景，為餘浩嘆。”
蘇軾獨自在月下徘徊、高歌起舞數遍後，才上床入睡。過了幾日，他興沖沖地宴請朋友，準備賞析本詞，朋友卻不屑一顧：“有啥希奇！徐州滿城都傳唱《永遇樂 明月如霜》！”
蘇軾大吃一驚，細細一追究，源頭來自一個巡邏的老兵。
老兵顯然對自己的行徑感到十分得意，見了蘇軾，還笑呵呵地說：“小人也是懂得一些音律的，那天夜宿燕子樓，半夜聽到有人唱這首詞，就悄悄地記下來，再向大夥兒傳唱！嘿嘿，我也不知道是誰唱的，想必是神仙罷！”
蘇軾也是哈哈大笑，喜滋滋地想道：“如能長期呆在這裡，我一定會快活得成仙了……”
但一年多後，他不僅沒有“成仙”，還差點“成鬼”了：“烏臺詩案”爆發，他被逮入獄；受盡100多天的拷打嚴審後，以“作詩訕謗朝廷之罪”，貶為黃州團練副使。
剛到黃州，沒有薪俸。“衣食住行”這些他從不關心的瑣碎之事，都成了迫在眉睫的頭痛大事。由於沒有住所，他只得暫居在“定惠院”寺廟裡，和僧人們擠在一起吃飯喝湯，而一家老小几十口人，還安置在筠州蘇轍那裡，靠著蘇轍微薄的收入拉扯著生活，無法來與他相聚。
一天晚上，涼風拂面，一鉤殘月斜掛在疏淺的梧桐梢。他走出定惠院，重重吁了口氣，無意中一暼，竟見有一隻孤鴻也在月光下徘徊，在遠處花汀湖水中，還倒映著彎月和浮雲的影子。
他悄立湖畔，清風拂身，冷月照影，惆悵無限，自覺一生從未如此刻這般寂寞淒涼。
他天生愛好熱鬧，喜歡呼朋引類，詩酒作樂，過去數月被囚於監獄，孤身一人那是當然之理。然而此刻身得自由，卻仍是孤零零地，只得將那隻孤鴻引為知己，傾訴孤苦之情。
於是，就有了這首孤寂清冷的《卜運算元》：
“缺月掛疏桐，漏斷人初靜。
誰見幽人獨往來，縹緲孤鴻影。
驚起卻回頭，有恨無人省。
揀盡寒枝不肯棲，寂寞沙洲冷。”
三個月後，他遷居到臨皋亭，居住條件有了好轉，但他依然孤獨寂寞、淒涼自傷。當年的中秋佳節，他對著圓月，自覺如同遊魂野鬼，陡然間心頭一陣酸楚，就作了一首《西江月》：
“世事一場大夢，人生幾度秋涼？？
夜來風葉已鳴廊，看取眉頭鬢上。？
酒賤常愁客少，月明多被雲妨。
中秋誰與共孤光？把盞悽然北望。”？
遭受這次“貶謫黃州”的慘重打擊，蘇軾曾經變得十分消沉，又害了一場大病，一度非常厭世。因此，經常有他已死、或者出家的訊息傳出，世人都信以為真，甚至有好友來信，詢問他是否還活著。
一次晚上，他與人在江上飲酒，醉酒而歸，返回臨皋亭時，已經三更，無人應門。面對大江和扁舟，他一時思緒飄蕩，真恨不得立刻駕舟，離開這困苦潦倒的黃州，在大江大海中悠閒度過餘生，就作了一首《臨江仙》詞，擊節高歌，來寄情抒懷：
“夜飲東坡醒復醉，歸來彷彿三更。
家童鼻息已雷鳴。
敲門都不應，倚杖聽江聲。
長恨此身非我有，何時忘卻營營？
夜闌風靜縠紋平。
小舟從此逝，江海寄餘生。”
次日，《臨江仙》詞就人人傳誦，並以訛傳訛，喧傳他夜間作了此詞，“掛冠服江邊，拏舟長嘯去矣”。郡守徐君猷聽得大驚失色，擔心失去罪官謫臣，將被朝廷追究責任，忙不迭地駕了船，親自跑來檢視，卻見蘇軾“鼻鼾如雷，猶未興也”。
這個謠言竟也傳入京城，連神宗皇帝都半信半疑。當時神宗正在吃飯，突然聽說“蘇軾已死”，頓時難以下嚥，將筷子放下，長聲嘆息，道：“蘇軾，這傢伙，唉……才人難得啊！”
然而，蘇軾並沒有一直沉湎在這種淒涼苦悶的心境中。他畢竟是一個熱愛生活、積極樂觀的人，總是想方設法改進生活、改善心境。
幾個月後，妻兒都來到了他身邊；到了黃州的第二年冬天，透過朋友幫忙，他得到城東山坡上的營防廢地數十畝。蘇軾開始操起鋤頭，不辭辛勞地開荒種地，透過植樹種菜來養家餬口，使得生活得以改善。之後，他又在山坡上搭建了一座