他力捧父親為翰林五諫，情急之下還寫詩詞暗諷朝臣和翰林們裝聾作啞不肯救人，這都不算什麼，反正沒有指名道姓，沒有哪個大臣會傻到為這些較真。
大家這點修養還是有的，如果為了方應物幾句不明所指的詩詞便氣急敗壞，那豈不就成了主動對號入座？這種自找沒趣的事情，稍有點智商就不會去做。
但偏偏世間有好事者、八卦黨、分析帝這種生物，於是翰林院的謝遷便躺著也中箭了。京師便有傳言，方應物那詩詞所指責的人就是謝遷，謝遷就是坐視同鄉加同僚下天牢而不管不顧的人。
事實上謝遷確實是這樣做的，但他可以做，卻不能讓別人說。一般情況下，若人緣不錯的話，也沒人去故意傳揚這樣的事情。畢竟人非聖賢，誰沒有點苦衷？誰沒有點違心的時候？
可一旦突然傳揚起來，那面子上就過去不去了。特別是正直敢言的方清之安然無恙出了天牢，依舊回到了翰林院，與採取了明哲保身策略的謝遷對比起來更是鮮明。倆人歲數相仿，前後只差一科，還是同省同鄉。
那段時間搞得謝學士極其被動，很是苦惱，非常厭煩，幸賴有人撐腰，硬是壓下了這種不利流言。大體上保住了聲譽。有這種樑子在，謝遷見到方應物。能給好臉色就怪了，剋制不住出言諷刺幾句在正常不過。
所以方應物主動說起“成化十四年”時。周圍眾人才會臉色古怪，這是哪壺不開提哪壺啊，這是方應物報復性的打謝遷的臉啊。
只有方應物自己還不大明白怎麼回事，而方清之並不想在這件事上鬧得太僵，所以才喝止了自家兒子。