與為他撐船的小船工楊紹泉熟悉起來。開始，楊紹泉不知道這位前呼後擁的釣魚翁是何方神聖，便開口問，張學良回答：“我叫老闆。”日子久了，楊紹泉聽人說他就是大名鼎鼎的張學良副司令，便無意中叫了一聲。不料張學良聽了，本來和藹可親的面孔頓時怒形於色，憤然說道：“我是什麼司令？早被人撤職了。以後不準叫司令，就叫老闆好了！”隨著時間的推移，張學良與楊紹泉的感情也熱乎起來。有一天，張學良提出要到楊紹泉的家裡過端午節。楊紹泉家裡窮，破爛不堪，覺得不好意思讓客人上門，所以露出一副很為難的樣子。張學良知道他的意思，連忙說：“你不要急，到時我準備東西，你只准備桌子椅子就行了。”到端午節那天，特務們挑著擔跟隨張學良到楊紹泉家裡來了。這次，張學良親自體會到了楊紹泉家的窮困狀況，決定報酬從優，每天的工錢和船錢增加到兩塊銀元，而且管他的中午飯。楊紹泉的孩子活潑可愛，張學良特別喜歡他，有一天跟楊紹泉開玩笑說：“你這小孩活潑可愛，就給我算了，肯不肯？”
電子書 分享網站
雪竇山“讀書”（13）
夫人于鳳至喜靜不好動，很少參加戶外活動。有時，張學良勸她說：“你老在廟裡悶著幹什麼呢？走吧，出去玩玩。”于鳳至為了不掃他的興，也跟著大家去了幾次，但對釣魚絲毫不感興趣，獨自留在船上打毛線，吃完午飯後，就先回山上了。張學良為感謝她陪伴自己一路奔波，輾轉遷徙，特寫了一首《致於鳳至》詩。詩曰：
卿名鳳至不一般，鳳至落到鳳凰山。
深山古剎多梵語，別有天地非人間。
不久，江蘇醫學院和上海藝術專科學校相繼遷移到沅陵，落腳在鳳凰山附近。由於張學良經常到江邊釣魚，被學生認出，很快傳開。一些好奇的女學生還成群結隊，想看一看這位曾經叱吒風雲的少帥風采。有的就寫信給親友，把張學良在沅陵作為新聞傳播，但卻全部被安置在郵政局的特務所截獲，給他們帶來莫名其妙的煩惱。
正當張學良釣魚釣到興高采烈時，突然傳說土匪即將攻打沅陵城，局勢一下子緊張起來。劉乙光感到事態嚴重，立即組織憲兵連修築工事。大夥忙了半天，準備得差不多了，便請張學良出來巡視。張看後，不甚滿意，就建議道：“我們看小說，不是有什麼滾木擂石之說嗎？今晚土匪若來騷擾，我們何妨試試？”大夥一聽，覺得很有道理，遂動員全部人員，分成兩隊：一隊搬運石頭，一隊砍伐樹木。一切佈置就緒之後，大家各守崗位，準備迎戰土匪。張學良也無心上床休息，一直和劉乙光談天說地。于鳳至默坐一旁，不離張學良一步，有時嘆口氣。
不料，等了一夜，始終不見土匪蹤影。第二天，緊張氣氛已經過去，張學良跑到外面，要大家試一試那些滾木擂石管不管用。隊員和憲兵都是年輕人，也很感興趣，便把一塊石頭拋下去。只見它順著山坡翻滾，等滾落到半山腰和石壁相撞，立刻彈了出去，一連幾躍就到了江心，把江水砸得水花四濺，蔚為壯觀。從此，張學良又找到了滾石頭的新奇玩法
11月18日，長沙大火的第三天，戴笠突然輕車簡從，只帶一名隨從副官跑到鳳凰山來看張學良，一共住了兩天。第一天，戴笠主要和張學良談張治中火燒長沙的經過。第二天，戴笠又召集特務隊員作個別談話，憲兵連連長、排長，甚至廚師都分別召見。這時，張學良外出遊山玩水，以作迴避。
一個最想抗日的人卻無緣走上抗日戰場，張學良一直感到無比的遺憾。
張學良自從被軟禁後，連著搬了好幾個地方，只有住在溪口和沅陵這兩處地方時，情緒較好，這是因為兩個地方的風景好，環境也好，又有活動的餘地，不會感到悶得慌。
1938年12月，由於日軍進攻長沙，逼近桃源，沅陵縣城也遭到日本飛機的轟炸，湘西也不安全了，戴笠電令向貴陽方向移動。