憲，請送廷尉，以正刑書。”謨懼，率子弟素服詣闕稽顙，躬到廷尉待罪。皇太后詔曰：“謨先帝師傅，服事累世。且歸罪有司，內訟思愆。若遂致之於理，情所未忍。可依舊制免為庶人。”
謨既被廢，杜門不出，終日講誦，教授子弟。數年，皇太后詔曰：“前司徒謨以道素著稱，軌行成名，故歷事先朝，致位臺輔，以往年之失，用致黜責。自爾已來，闔門思愆，誠合大臣罪己之義。以謨為光祿大夫、開府儀同三司。”於是遣謁者僕射孟洪就加冊命。謨上疏陳謝曰：“臣以頑薄，皆忝殊寵，屍素累紀，加違慢詔命，當肆市朝。幸蒙寬宥，不悟天施復加光飾，非臣隕越所能上報。臣寢疾未損，不任詣闕。不勝仰感聖恩，謹遣拜章。”遂以疾篤，不復朝見。詔賜几杖，門施行馬。十二年，卒，時年七十六。賵贈之禮，一依太尉陸玩故事。詔贈侍中、司空，諡曰文穆。
謨博學，於禮儀宗廟制度多所議定。文筆論議，有集行於世。總應劭以來注班固《漢書》者，為之集解。謨初渡江，見彭蜞，大喜曰：“蟹有八足，加以二螯