趙普便又想去勸說趙匡胤撤軍。湊巧的是，趙匡胤這回率先主動地把趙普和曹彬等人召到了自己的大帳中。趙普看見，皇上的大帳裡也在滴滴答答地漏著雨水。就聽趙匡胤低低地問道：“你們說，這仗還能不能打下去了？”
因為趙匡胤沒有具體的問誰，所以趙普和曹彬等人就都沒有開口。實際上，趙普很想開口，但因為勸過趙匡胤兩次，趙匡胤都不採納，所以趙普就故意保持沉默。
卻見趙匡胤朝著趙普一瞪眼道：“趙普，朕問你呢，這仗現在還能不能打下去了？”
趙普這才“哦”了一聲道：“皇上，臣本愚鈍，不敢妄言……臣想聽聽曹彬曹大人的高見！”
趙匡胤心中很不快活。趙普這樣作答，明顯的是對他趙匡胤有意見。好在趙匡胤也知道，現在不是生氣的時候，所以，趙匡胤就嚥下去一口唾沫，轉向曹彬言道：“曹愛卿，宰相想聽聽你的高見呢！”
曹彬慌忙躬身道：“皇上，宰相大人既不敢妄言，微臣就更不敢妄言了……不過，微臣當年奉旨平蜀時，與十幾萬蜀兵交過手，更與數十萬蜀地叛軍交過手，臣以為，蜀兵也好，蜀地叛軍也好，都不如太原城內的漢匪來得兇悍！”
“那是自然，”趙匡胤不覺點了點頭，“不然，曹愛卿攻打太原不久，何以就中了漢匪一箭？”
“曹大人！”趙普突然亮了嗓子，把曹彬嚇了一跳，把趙匡胤也嚇得打了一個機靈。就見趙普衝著曹彬吹鬍子瞪眼睛道：“皇上是問你現在這個仗還能不能再打下去了，你為何岔開話題，訴說起當初攻蜀之事來？蜀兵在南，漢匪在北，二者如何能一樣？這麼簡單的道理，皇上難道也不懂嗎？”
若是平日，趙普這般衝著曹彬發火，曹彬肯定會大驚失色。但此番不然，因為曹彬早就知道趙普曾經勸過皇上撤軍之事。同時曹彬還知道，皇上已有撤軍之意，只是不便明說，而趙普正是想借他曹彬的嘴來給皇上下令撤軍鋪下個臺階。
所以，曹彬就做出一副誠惶誠恐的模樣對趙普賠笑道：“宰相大人批評的是……曹彬一時緊張，說話跑題了……”
而趙匡胤聽了趙普的話後心裡卻很不是滋味。那“這麼簡單的道理”一句，豈不是在諷刺他嗎？虧得趙匡胤大度，不僅沒有對趙普怎麼樣，還擠出一絲笑容朝著曹彬言道：“愛卿休要緊張。宰相有些性急，說出一點重話來也在所難免。你且歇歇氣，然後慢慢告訴朕：在你看來，這仗還能不能再打下去了？”
曹彬說了實話：“皇上，依臣微見，這仗不能再打下去了，且臣以為，早一點撤軍，就少一點損失……”
說完，曹彬暗暗地注視著皇上的臉，卻見趙匡胤轉問趙普道：“宰相，你以為曹愛卿所言如何啊？”
趙匡胤這是在明知故問了。趙普回答得也很得體：“稟皇上，臣以為曹大人所言十分地精當！”
“那好吧！”趙匡胤忙道，“就依曹愛卿所言：待大雨一停，就立刻班師回朝！”
趙匡胤終於做出了撤軍的決定。只不過，這決定的產生似乎來源於曹彬的建議而與趙普無直接關係。在這種時候，趙匡胤還暗暗地與趙普較勁兒，也著實耐人尋味。
說來也有些奇怪，趙匡胤剛一作出撤軍的決定，綿綿的大雨就漸漸地停了。以至於趙匡胤都有些納悶起來：如果我早一點決定撤軍，那大雨是不是早就停了？
雖然已經決定撤軍，但也得有條不紊地進行。傷兵很多，患病者更多，還有那麼多的軍需糧草。所以，趙匡胤就令李繼勳和党進帶傷病者及軍需糧草先行南下，又命趙贊率一支部隊將太原以南的一萬多戶北漢百姓強行遷至河南、山東等地以此來削弱北漢的實力。而趙匡胤自己則與趙普、曹彬等人一道領一支萬餘人的宋軍殿後掩護。
曹彬本是勸趙匡胤隨李繼勳和党進一同先行南歸的，趙匡胤卻道：“大宋官兵為朕拋頭顱灑熱血，最終卻無功而返，朕如何還能先行南撤？朕雖然不能與他們一般浴血疆場，但總可以同你一起為他們斷後吧？”
不難聽出，趙匡胤對此次北伐多少有了些悔意。曹彬無奈，只好又去勸趙普與李繼勳等人先走。趙普勃然作色道：“曹大人，皇上斷後，趙普若先走，此為不忠。趙普與曹大人本是兄弟，如果趙普棄曹大人而先行南下，此乃不義。曹大人又何必陷趙普於不忠不義之地？”
這樣一來，曹彬就只好與皇上和宰相同行了。沒承想，趙匡胤和趙普差點被北漢軍隊捉了去。
那是一個還算晴朗的日子，趙匡胤、趙普和曹彬率萬餘宋軍