越來越多的諫言使齊王對前途感到迷茫。《晉書·良吏傳》裡記載了齊王曾經就何去何從的問題詢問過曹攄，曹攄是當時有名的長者，當時擔任齊王的記室督。
齊王問：“當初天子被賊臣所逼迫挾持，天下沒人奮起，是我率領義軍興復了王室。如今我入朝輔政，試圖匡振這艱難的時局，卻有人勸我棄政歸藩。你看我該怎麼辦？”
曹攄先是恭維一番齊王的功勳，說什麼“蕩平國賊，匡復帝祚，古今人臣之功未有如大王之盛也”，然後他來一轉折，說“然道罔隆而不殺，物無盛而不衰，非唯人事，抑亦天理”。
轉了一圈之後，曹攄勸齊王放棄權勢，解職歸藩。他說“請大王居於高處的時候警惕從高處摔落的危險，在盈滿的時候要考慮到盈滿則虧的道理。請大王大公無私擯棄權欲，替朝廷精選百官，舉賢進善，使每個崗位都由有才能的人充任，然後秣馬脂車，解職歸藩。這樣就可以消弭流言，上下同慶，我等也會替大王感到慶幸啊。”
曹攄的話說得十分明白，但是齊王到底捨不得到手的權勢，況且，即使放棄一切退還齊國也不一定就能免禍，齊王最終沒有采納。
除了繼續獨裁與棄位歸藩，齊王似乎還有第三條路可走。齊王的主簿王豹就建議說，如果捨不得放權，那就適當分權。
王豹寫密信給齊王，說自從元康年間以來，處於宰輔位置的人無一善�