衡君想，日本鬼子大概不會進到這個偏僻的小山城來。可是，不久日本人的飛機就來了，這些飛機並不是來轟炸豐都的，而是去轟炸國民黨的戰時陪都重慶，但成群的飛機從頭上飛過，讓人們心裡發慌。有一次，一架日本飛機在豐都的上空盤旋，還俯衝下來用機槍掃射。心裡發慌的齊衡君決定繼續往上游跑，於是經萬縣到重慶，一直跑到了當時日本人還沒有到達的貴陽，這才停下來。
可跑到貴陽的達官貴人太多，房子和生活必需品都非常匱乏，住在那兒很不容易，帶去的銀元都花光了，不得不到當鋪去當細軟。那時的細軟也值不到幾個錢，撐了兩年，齊衡君想，看來三年五載打不走日本人。全家長此下去，生計無保障。又決定冒險回宜市。
從貴陽回來，一路上走走停停，經過千辛萬苦，用了一個多月，最後在九江乘了一艘小木船才到了宜市碼頭。齊衡君讓全家仍然等在船上，他進城去探探情況。
走到城門口，齊衡君看到城門上掛著日本人的膏藥旗，城門口一左一右站著兩個持槍的日本兵。他們對進出城門的老百姓並沒有怎麼限制，齊衡君便硬著頭皮進了城。
到了園青坊大街，遠遠地就看見齊府門口也有日軍的哨兵，而進出齊府的都是一些日本軍人和憲兵。齊衡君知道，家是回不去了。於是，全家又折到了離宜市六十多里的齊家崗，這裡是齊家的祖居地，住著齊家的一些遠親。齊社鼎跟著父母親，在這兒一直住到日本人投降。
日本鬼子投降以後，齊社鼎跟著父母親從鄉下回到宜市。當時國民黨一位接收大員住在齊府，他特別喜歡這座宅子，一直想以偽產和敵產的名義，把齊府沒收。但查來查去，齊家沒有一個人跟日本人有關係，再加上齊社玉丈夫的國民黨軍官身份，最後還是將齊府交還給了齊衡君。
抗戰前剛剛經過一次大修的齊府，就被日本人佔用，雖然日本人沒有對齊府進行破壞，但很多地方都改變了用途，一進二進的一些房間被當做辦公室，房間裡原先的傢俱堆在後進的連廊上，搬進了一些日式的傢俱和辦公桌、沙發。廚房旁邊的庫房，被改為臨時關押犯人的監房，庫房的木門換成了鐵門。後花園裡好多花木都死了，放生池裡的水也幹了。二進和三進的樓上，由於都是地板，被鋪上了日式的塌塌米，作為軍官們的臥室，牆上還留有“武運長久”的字幅。齊府被弄得不倫不類。
雖然街面上慶賀抗戰勝利的鞭炮聲震耳欲聾，回到齊府的齊衡君卻心灰意冷，對修復齊府、重振齊家的生意一點也提不起精神來。教會學校復學了，齊衡君惟一關心的事，就是送兒子繼續讀書。
開學的頭一天，齊衡君把齊社鼎叫到跟前，邊幫他整理書包，邊交代上學的事情。齊衡君也把振興齊府的希望寄託在二兒子身上，因為大兒子已經離家多年，二女兒也已嫁人，留在家中的只有二兒子社鼎。他特意把兒子領到一進的大廳堂裡，指著掛在廳堂兩邊佈滿灰塵的楹聯，楹聯上的字跡已經很淡：
承先祖德以交付兒孫不必田園金玉
讀聖賢書即擔當宇宙何分韋布薦紳
齊衡君語重心長地跟兒子說，他八歲的時候，老太爺帶著他去遊徽州，在一個祠堂裡看到這樣一副楹聯，老太爺就把它抄下來帶回齊府，親筆書寫後請人制成匾牌掛在一進的廳堂中，作為家訓。他解釋說，韋布，是貧窮的意思，薦紳，指的是富豪。他告誡兒子，別看今天家境一天比一天差，讀好書，才是最重要的。
齊衡君夫婦只知道要兒子好好讀書，沒有注意到兒子已經長大成人了。
這時，齊社鼎十六歲了，正是風華正茂情竇初開之際，逐漸有些莫名其妙的煩躁和“夜遺”的事情發生。可教會學校管理十分嚴格，男女生雖在一個學校，但中間有一道高高的圍牆，圍成了兩個雞犬之聲可聞，而完全不能往來的世界。
一個禮拜六，他放學回家，放下書包就去母親房間請安。
母親信佛，房間裡供奉著一尊象牙的觀音立像。一般信佛教的人家供奉的觀音像以瓷像為多，也有漢白玉、黃楊木、紫檀木的。齊府供奉的這一尊高約一尺五的象牙觀音立像，既表明了齊太太的虔誠，也可以看出家境曾有的殷實。
齊社鼎走進去的時候，母親正在焚香，滿屋子裡都是檀香的味道。齊社鼎看見母親身邊站著一個十五六歲的丫頭，圓圓的臉，穿一件白底碎花的小褂。
自從日本人來了以後，齊家家境一日不如一日，當時一家十來口人躲在鄉下，入不敷出，坐吃山空，而且一住就是五年。搬回齊府以後，家裡除了