有點同情劉牢之，他雖然佔了石頭城作駐軍之地，卻並不得志，且因此和司馬道子的關係更疏離，而建康高門對他猜疑更重。
說到底就是劉牢之本身的威望，不論在軍內車外，均不能服眾。而他殺王恭之事，更令他不論如何努力，仍難被建康高門接受。
不過這種形勢對劉裕卻是有利無害，使劉牢之只懷疑司馬道子是借自己來牽制他，而沒有想過自己竟能與司馬道子父子訂立了秘密協議。
劉裕道：“琅琊王怎會紆尊降貴的來見我這個小卒？”
劉牢之不悅道：“你只須答我是或否。”
劉裕知他心情極差，更明白他心情壞的原因，皆為謝琰已拒絕了他的建議，令他對付自己的奸謀再次失敗。所以不但沒有動怒，且暗感快意。淡淡道：“沒有！”
劉牢之凝望他好片晌，然後沉聲道：“你和刺史大人之間發生過甚麼事？”
劉裕斬釘截鐵的道：“報告統領大人，沒有！”
劉牢之雙目閃過濃烈的殺機，似恨不得一口吞掉劉裕，沒有說話。
劉裕雖然心中稱快，也知不宜太過開罪他。頹然道：“刺史大人一向不喜歡我，原因在他看不過我那手字，這是宋悲風告訴我的。”
劉牢之餘怒未消的道：“你為何不早點告訴我？”
劉裕嘆道：“我也是剛曉得此事。”
劉牢之狠狠道：“恐怕我寫的字也難讓他看上眼。哼！高門大族裡除安公和玄帥外，再沒有肯實事求是、腳踏實地的人，事實會證明給所有人看，以字取人是多麼荒唐。”
劉裕道：“刺史大人是不是拒絕了我呢？”
劉牢之悶哼道：“他不但拒絕把你納入他的平亂軍，還著我約束你，以後不准你踏入他謝家半步。所以我才問你和他之間發生過甚麼不愉快的事？”
劉裕想不到謝琰竟做了這麼蠢的事，說出絕不該說的話，差點語塞，只好把責任推卸在劉毅身上。道：“刺史大人竟說出這番話，肯定是劉毅那小子在搞鬼。箇中原因，統領大人該明白吧！”
迴心一想，謝琰這番