始埋怨秦泰，要秦泰說出這些錢的用途，秦泰又不好明說，所以成為了大家懷疑的物件。秦泰的父親知道真相所以力挺自己的兒子，為此一些本家要求撤股。生意就是這麼樣的，人多了是非多但是錢多好辦事。當大家紛紛撤股之後，雖然是非少了但是生意也就難做了。一些相與知道秦泰家鬧分歧後，紛紛取消了和秦泰家的生意往來。再加上秦泰的母親生了一場大病，花去了家裡不少的現金，所以秦泰家日子開始不好過起來了。
第二就是秦泰在家鄉越來越被人看不起。秦泰是一個待職的官員，所以大家都對他客客氣氣的。就連一些官府的官員為了將來也會逢年過節送禮給秦泰。秦泰的本家們也希望秦泰有復職的機會，所以不敢對秦泰指手畫腳。可是過去了不少日子秦泰一直沒有訊息，官員們透過各種渠道打聽訊息。得知秦泰原來得罪過這麼多的官員，太后和小皇帝也不願意秦泰出頭，這些勢利眼的官員們就對秦泰不客氣起來