聽，總以“師事夷人”、“奉夷為師”指責別人，其目的無非是阻止人們報考同文館。他們聲稱，同文館僱覓洋人不過是講授天文算學，早已奏明入館學習者不修弟子之禮，該折業經發抄，倭仁豈有不知？為什麼信口開河，肆意攻擊？他們繼續將倭仁的軍：倭仁不是認為中國早有精通天文算學、船堅炮利的人才，只是沒有精心訪求嗎？他們於是提出希望朝廷下旨飭令倭仁保薦數人，即行擇地另設一館，由他督飭。清廷還真接受了奕？等人的請求，釋出“上諭”，要倭仁保薦幾名精通天文算學人才另行擇地設館，由倭仁負責。在這種情況下，倭仁不得不承認“意中並無精於天文算學之人，不敢妄保”，請求不必另行設館。但是，他仍堅持自己原來的觀點，認為天文算學只為最不重要，“並非欲自強必須講明演算法也”。
在奕？等人的策劃下，清廷任命倭仁在總理衙門行走，想逼使他也不能不涉及洋務。但倭仁表示堅辭，未獲批准，便稱病�