呆叟自入山中，遂了閒雲野鶴之性，陶然自適不啻登仙。
過了幾月，殷太史與一切舊交因少他不得，都寫了懇切的書，遣人相接，要他依舊入城。他回札之中，言語甚是決烈。眾人知道勸他不回，從此以後，也就不來相強。一日，縣中籤派裡役，竟把他的名字開做一名櫃頭，要他入縣收糧，管下年監兌之事。差人齎票上門，要他入城去遞認狀。呆叟甚是驚駭，說：“裡中富戶甚多，為什麼輪他不著？
我有幾畝田地，竟點了這樣重差？”差人道：“官錯吏錯，來人不錯。你該點不該點，請到縣裡去說，與我無干。”呆叟搬到鄉間未及半載，飯稻羹魚之樂才享動頭，不想就有這般磨劫；況且臨行之際曾對人發下誓言，豈有未及半年就為馮婦之理？只得與差人商議，寧可行些賄賂，央他轉去回官，省得自己破戒。差人道：“聞得滿城鄉宦都是你至交，只消寫字進去，求他發一封書札，就回脫了，何須費什麼錢財！”呆叟素具傲骨，不肯輕易幹人；況有說話在先，恐為眾人所笑，所以甘心費錢，不肯寫字。差人道：“既要行賄，不是些小之物可以幹得脫的，極少也費百金，才可以望得幸免。”呆叟一口應承，並無難色，盡其所有，幹脫了這個苦差。未免精疲力竭，直到半年之後，方才營運得轉。正想要在屋旁栽竹，池內種魚，構書屬於住宅之旁，蓄蹇驢於黃犢之外，有許多山林經濟要設施佈置出來。
不想事出非常，變生不測，他所居之處，一向並無盜警，忽然一夜，竟有五七條大漢，明火執仗打進門來，把一家之人嚇得魂飛膽裂。呆叟看見勢頭不好，只得同了妻子立過一邊，把家中的細軟任憑他席捲而去。既去之後，撿著幾件東西，只說是他收拾不盡、遺漏下來的；及至取來一看，卻不是自己家中之物，又不知何處劫來的。所值不多，就拿來丟過一邊，付之不理。他經過這番劫掠，就覺得窮困非常，漸漸有些支撐不去；依舊怕人恥笑，不肯去告貸分文。心上思量說：“城中親友聞之，少不得要捐囊議助，沒有見人在患難之中坐視不顧之理。
與其告而後與，何如不求而得？”過不上幾日，那些鄉紳大老果然各遣平頭，齎書唁慰。書中的意思便關切不過，竟像自己被劫的一般。只是一件可笑：封封俱是空函，並不見一毫禮物，還要賠酒賠食款洽他的家人。心上思量道：“不料人情惡薄，一至於此！別人慳吝也罷了，殷太史與我是何等的交情，到了此時也一毛不拔，要把說話當起錢來，總是日遠日疏的緣故。
古人云‘一日不見黃叔度，鄙吝復生。’此等過失皆朋友使然，我實不能辭其責也。”寫幾封勉強塞責的回書，打發來人轉去。從此以後，就斷了痴想，一味熬窮守困。又過了半年，雖不能夠快樂如初，卻也衣食粗足，沒有啼飢號寒之苦。不想厄運未終，又遇了非常之事。忽有幾個差人齎了一紙火票上門來捉他，說：“其時某日拿著一夥強盜，他親口招稱，說：‘在鄉間打劫，沒有歇腳之處，常借顧某家中暫停。雖不叫做窩家，卻也曾受過贓物，求老爺拘他來審審。’”呆叟驚詫不已，接過票來一看，恰好所開的贓物就是那日打劫之際遺失下來的幾件東西，就對了妻孥嘆口氣道：“這等看來，竟是前生的冤孽了！我曾聞得人說：‘清福之難享，更有甚於富貴。’當初有一士人，每到黃昏人靜之後，就去焚香告天，求遂他胸中所欲，終日祈禱，久而不衰。忽然一夜，聽見半空之中有人對他講道：‘上帝憫汝志誠，要降福與汝，但不知所願者何事？故此命我來詢汝。’士人道：‘念臣所願甚小，不望富貴，但求衣食粗足，得逍遙于山水之間足矣。’空中的人道：‘此上界神仙之樂，汝何可得？若求富貴則可耳。’就我今日之事看來，豈不是富貴可求，清福難享？命裡不該做閒人，閒得一年零半載，就弄出三件禍來，一件烈似一件。由此觀之，古來所稱方外司馬、山中宰相其人者，都不是凡胎俗骨。這種眠雲漱石的樂處，騎牛策蹇的威風，都要從命裡帶來，若無夙根，則山水煙霞皆禍人之具矣。”說了這些話，就叫妻孥收拾行李，同了差役起身。喜得差來的人役都肯敬重斯文，既不需索銀錢，又不擅加鎖鈕，竟像奉了主人之命來邀他赴席地一般，大家相伴而行，還把他遜在前面。
呆叟因前番被動，不能見濟於人，知道世情惡薄，未必肯來援手，徙足以資其笑柄，不如做個硬漢，靠著“死生由命”四個字挺身出去見官，不想到近城數里之外，有許多車馬停在道旁，卻像通邑的鄉紳有什麼公事商議聚集在一處的光景。呆叟看了，一來無顏相見，二來不屑求他，到了人多的地方，竟低頭障面而過。不想有幾個管家走來