對宰輔之任的大學士來說，這道上諭的措詞，已是十分嚴峻！再把先前那道令倭仁酌保天算人員，擇地設館的上諭，說設同文館一事，“不可再涉遊移”的話並在一起來看，參以近來報考同文館人數寥落這一點，明眼人都可看出，恭王的饒不過倭仁，有著“殺大臣立威”的意味在內。事情演變到了這一步，已經不是辭“總理衙門行走”那麼單純，而是到了乞請放歸田裡的時候了！
翁同和心裡就是這麼在想，倭仁應該“上表乞骸骨”，侃侃而談，以去就爭政見，才是正色立朝的古大臣之風。至於倭仁自己，不知是見不到此，還是戀位不捨，依然只想辭去“新命”。這一次是求教於李鴻藻，李鴻藻又派人來請翁同和，原是商量不出結果的事，他這樣做，只是希望多一個人在座，省得賓主二人默然相對，搞成僵局而已。
一個無辦法當中的辦法：倭仁“遞牌子”請“面對”。兩宮太后自然立即召見，帶領的卻是恭王，倭仁心知不妙，先就氣餒。到養心殿跪下行禮，步履蹣跚，等太后吩咐“起來說話”時，他竟無法站得起身，兩宮太后優禮老臣，特意召喚太監進殿，把他扶了起來。
“兩位皇太后明見，”他道明請面對的本意，“臣素性迂拘，洋務也不熟悉。懇請收回派臣‘總理衙門行走’的成命。”
兩宮太后還未開口，恭王搶著說道：“這一層，前後上諭已有明白宣示。”
“是啊！”慈禧太后接著說道：“左宗棠、曾國藩、李鴻章，都說該設同文館，他們在外面多年，見的事多，既然都這麼說，朝廷不能不聽。現在章程已經定了，洋教習也都聘好了，不能說了不算，教洋人笑話咱們天朝大國，辦事就跟孩子鬧著玩兒似的。你說是不是呢？”
倭仁不能說“不是”，只好答應一聲：“是！”但緊接下來又陳情，“不過臣精力衰邁，在總理衙門行走，實在力有未逮。”
“這倒也是實話。”慈安太后於心不忍，有心幫他的忙，但也不敢硬作主張，看一看慈禧太后，又看著恭王問道：“六爺，你看呢？”
“跟母后皇太后回話，”恭王慢條斯理地答道：“這原是借重倭仁的老成宿望，為後輩倡導，做出一個上下一心，奮發圖強的樣子來。倭仁是朝廷重臣，總理衙門的日常事務，自然不會麻煩倭仁，也不必常川入直，只是在洋務上要決大疑、定大策的那一會兒，得要老成謀國的倭仁說一兩句話。除非倭仁覺得總理衙門壓根兒就不該有，不然，說什麼也不必辭這個差使！”
這一番話擠得倭仁無法申辯，慈安太后更是無從贊一詞，慈禧太后便問：“倭仁，你聽見恭親王這番話了？”
“是！”倭仁異常委屈地答應。
“我看你就不必再固執了吧！這件事鬧得也夠了。”慈禧太后又說：“你是先帝特別賞識的人，總要體諒朝廷的苦衷才好！”
倭仁唯唯稱是，跪安退出。走到養心殿院子裡，讓撲面的南風一吹，才一下想到，剛才等於已當著兩宮太后的面，親口答應受命，這不是見面比不見面更壞嗎？不見兩宮的面，還可以繼續上奏請辭，現在可就再也沒有什麼話好講了！
這一想悔恨不已，腳步都軟了，幸得路還不遠，進了月華門，慢慢走回懋勤殿。這時恰好是皇帝回宮進膳休息的那一刻，懋勤殿也正在開飯，正面一席，虛位以待，翁同和空著肚子在等他。徐桐三天兩頭茹素，替皇帝講完《論語》回家吃齋去了。
倭仁實在吃不下，但為了要表示雖遭橫逆，不改常度的養氣工夫，照平日一樣，吃完兩碗飯。看他那食難下嚥的樣子，翁同和知道“面對”的結果不如意，便不肯開口去問。
反是倭仁自己告訴他說：“恭王只拿話擠我！”
“喔，”翁同和低聲問道：“他怎麼說？”
倭仁無法把恭王的話照說一遍，那受排擠的滋味，只有他自己能感受得到，想了半天，實在無法答覆他的話，唯有搖搖頭不作聲。
這也就“盡在不言中”了。翁同和大有所感，亦有所悲，講理學講到倭仁這個樣子，實在洩氣！程、朱也好，陸、王也好，都有一班親炙弟子，翼衛師門，而倭仁講理學講成一個孤家寡人，那些平時滿口夷夏之別、義利之辨的衛道之士，起先慫恿他披掛上陣，等到看見恭王凌厲無前的氣勢，倭仁要落下風，一個個都躲在旁邊看笑話。倘或倭仁的周圍，有一兩個元祐、東林中人，早已上疏申救，何致於會使得倭仁落入這樣一個進退兩難的窘境？
看來黨羽還是要緊！不過講學只是一個門面，要固結黨羽非有權不可。