淡他說：“沒啥稀奇，以後還不知下場如何！”果不其然，不久後呂葆中因“一念和尚案”受到“牽連，琅鐺入獄，終至憂鬱而死。大哥不得善終，呂家其他兒子惶恐無措，呂留良諄諄告誡他們：“但能讀書識時務，不必仕進取青紫。”兒子們聽從了父親的話，只在家博覽群書，不再涉足考場。
呂葆中客死京城後，妻子林氏萬念俱灰，帶著剛出世不久的女兒呂四娘投靠到公公呂留良門下。只過了三年安穩日子，呂留良又因病去世，林氏母女再度失去依靠，索性遁入空門，輾轉寄身於西湖山一座僻靜的尼庵中。尼庵中的日子平靜如水，晨昏誦經，白天勞作，過得十分艱辛，林氏已沒有其它念頭，只盼著女兒四娘一日日成長起來。
轉眼十年時間過去了，有一天，呂府的老僕人呂德忽然尋到了尼庵，他一身塵土，滿臉焦慮，必定是有什麼要事，林氏忙把他請到房中。呂德也顧不得落座，勉強調勻了呼吸，急不可待地向林氏稟報：“大少奶奶，事情不好了，呂府己被官府查抄，滿門老少都慘死屠刀之下，我好不容易死裡逃生，特尋來通報您，趕快帶著小姐逃命吧，怕官府還會找來哩！”