著兒子回去原來的家，於是他就想到了他的妻子。
遲楓乾脆就到林家來做西席先生，他穿來之前，妻子正要跟他和離。當年，祖父給他定下跟林家女的親事，並未說明是哪一個林家女，大家都預設是林家大房的女兒。
遲楓原本的名字叫上官遲楓，是侯府的世子。按理說，這一門親事對林家女是一門極好的親事，打著燈籠都找不到的親事，奈何，林家四姑娘就是死活不願意嫁給他，還散播上官遲楓受傷不能人道的訊息。
林四姑娘的騷操作讓侯府非常憤怒，只是這一門親事是老侯爺定下的。老侯爺不願意就此斷了這一門親事，還是得要林家女，只不過是換了一個姑娘。
若是林四姑娘願意，也就沒有林六姑娘林雅芸什麼事情。
林雅芸嫁去侯府之後，算是高攀，侯府的人又因為林四姑娘曾經的作為而不喜歡林家女。林雅芸長得又十分漂亮，她跟侯府的姑娘一塊兒出去，風頭都被她佔去了，侯府的人就越發不喜歡她。
上官遲楓是一個男人，他平時總在外忙碌，哪裡可能方方面面俱到。林雅芸和上官遲楓的感情原本就不深，她認為丈夫就是為了婚約娶她的，丈夫娶了她，有了孩子，他就能一心打拼事業。
加上上官遲楓沒有妾室和通房丫鬟，林四姑娘散播的謠言又浮現在眾人的腦中。那些人就想林雅芸生的孩子到底是不是上官遲楓的，是不是林雅芸跟別人生的孩子，又或者是她抱來的孩子。<