『不是這話，不是這話！』胡雪巖倒覺歉然，極力安慰他說，『你的長處我都知道，將來我有大大仰仗你的地方。』
『那麼眼前呢？』
『眼前要看你自己的意思，你的志向是把祖傳的基業恢復起來，所以我那樣勸你，而且可以幫你的忙。』
『我的想法變過了，世德堂就算恢復了，也沒有啥意思，叫我守在店裡，更加辦不到。我想想，還是跟你一起去闖一闖的好。』『那好！』胡雪巖說，『你先回湖州，叫芙蓉放心，關起門來過日子，什麼事也不必管，等我上海回來，自有安排。這話說到了，請你跟世龍一起趕到上海來。』
這樣說定了，各自分手。胡雪巖已出錢莊，靈機一動，開了張五千兩的銀票，帶在身上，一到家，正好在書房裡遇著他妻子，便把那張銀票遞了過去。
胡太太裝作不解地問道∶『這是啥？』
『你白送了五千銀子！我貼還你的私房。』胡雪巖又說，『有私房錢，放到錢莊裡去生息倒不好？壓在箱子底下，大錢不會生小錢的。』
看他是這種態度，胡太太倒有些莫測高深了。
夫婦倆暗中較勁，到了這樣的地步，至矣盡矣，胡太太自然有些不安，心想既然西洋鏡已經摺穿，就不如敞開來談了。
於是她先表示歉意，『雪巖，你不要怪我事先沒有跟你商量！我也是萬般無奈，為了一家大小，我們苦了這麼多年，你剛剛轉運，千萬沾染不得「桃花」，我這樣做，是為你好。十幾年夫妻，你總曉得我的心。』她停了一下又說，『當然，我另外有打算的，跟娘也講過，將來你就可以曉得了，我不是不講道理，亂吃醋的人。』
最後這幾句話，讓胡雪巖看穿了她妻子的用心。只要是小康之家，三十一過，尚乏子息，堂上老親。便會動替兒子置妾的念頭，再過五六年，依然有『後顧之憂』，則鄉黨宗親都會出來『說公話』，再悍潑的大婦，也得屈服於『不孝有三，無後為大』的『道理』之下，忍氣吞聲讓丈夫另闢偏房。
因此，會吃醋的人便作未雨綢繆之計，表面絕不露溫色，而且為丈夫置妾之念，表現得非常熱切，三天兩頭找媒婆上門，裡外串通，託詞宜男之相，找來個粗腳大手，其蠢如牛的女孩子，作為丈夫金屋中的阿嬌。同時一進門便立下許多規矩，閫令大如軍令，偏房有如敵國，戒備森嚴，把丈夫擺佈得動彈不得。胡雪巖認為他妻子就是這類厲害的角色，所以立刻表示『敬謝不敏』！
『你不必瞎打算，我也不會領你的情。』他接著提到芙蓉∶『你這趟到湖州去，做錯了，大錯特錯！我跟你說過，是逢場作戲，認不得真，以後我自有擺脫的辦法。現在你這一來，倒叫我為難了，如果照你的想頭，給個幾千銀子，讓人家走路，說出去是我胡雪巖怕老婆！不要說我面子上下不來，而且人家要想，胡雪巖凡事自己做不得主，你倒說人家還信任不信任我？』
這番道理把胡太太說得愣住了！她雖精明，到底世面見得少，商場中的習慣和顧忌，哪裡懂得透？只好這樣辯解∶『我一個人去，一個人來，一共只見了一面，談不到一盞茶的工夫，真正是人不知鬼不覺，哪個會曉得？』
『是不是「鬼不覺」，我不曉得，若要「人不知」，除非己莫為。不說別的，就說我，先就曉得了。』胡雪巖故意跌足嗟嘆∶『現在湖州已經在笑話我了！你曉得龐二怎麼說？他說，做大生意就象皇帝治天下一樣，該殺的殺，該放的放，全靠當機立斷，所以切忌女人軋腳。胡雪巖原來要聽太太的話！如果說有筆生意來了，發大財或者本錢蝕光，都在當時一句話上，而胡某人說要回去跟太太商量一下看。你們說，這樣子怎麼合得攏淘來做大生意？』
這番編出來的話，把胡太太說得青一陣，紅一陣，心裡又急又悔，好半晌說不出話來。
『你也不要急！』胡雪巖倒過來安慰她，『事情已經做錯了，懊悔也無用，眼前只有讓他們去笑我，等我上海回來再說。』
越是如此，越不能讓胡太太安心。夫婦之間為了妾侍，沒有不吵得天翻地覆的，即令丈夫脾氣好，也不能這樣絲毫不帶慍色。其中一定有什麼花樣！
同時芙蓉到底怎麼樣了呢，是知難而退，還是戀戀不捨，也得從丈夫口中討出一個確實資訊來，才好處置。
總而言之，事情到此地步，由暗而明，使得乾乾淨淨有個了結，如果聽任丈夫從上海回來再辦，且不說夜長夢多，光是這許多日子他心中懷著不滿，就足以使夫婦的感情起變化。
想到這裡，胡太太認