薄太后的極力反對，使得劉恆不得不放棄了親征匈奴的計劃，而任命張相如為大將軍，全權負責指揮前線對匈奴作戰。
匈奴騎兵深入漢地數百里，前鋒離長安城只有八十里的距離了。
匈奴的探子不斷報告漢軍的動向：長安城外已經集結漢軍十萬人馬，同時在匈奴軍隊附近的上郡、北地和隴西三個郡，也有漢軍援兵源源不斷地進駐。
老上單于對這次劫掠式的戰果很滿意了，於是下了命令：撤！
一門心思想著整垮漢政府的中行說對單于的命令大感意外，馬上向老上單于說：“現在我軍正勢如破竹，所到之處，攻無不克，何不一鼓作氣，直下長安城，也好坐一坐長樂宮中皇帝的龍椅啊。”
老上單于哈哈大笑，說道：“先父冒頓單于最擅長於心理戰術，今日我大軍南下，所向披靡，漢帝國邊關無不震動。然而我軍勝在奇襲，攻其不備，出其不意，長安城高勢險，漢軍裝備精良，訓練有素，現在正整裝待發，強弓勁弩，一旦開戰，勝負未可知。不如趁好收兵，令漢軍摸不著我軍力的虛實。經此一役，我軍斬獲頗豐，必定使漢軍對我心懷畏懼之心，這正是先王心理戰的用兵之道。”
中行說心裡有幾分失望，但善於察言觀色的他還是堆起有幾分醜陋的笑容，豎起大姆指說：“單于英明！”
劉恆也有幾分失望。
張相如統率十幾萬大軍出兵，但匈奴軍隊一溜煙就跑了。帝國的大軍空手而歸。
劉恆心中明白，無論是張相如，還是周舍、張武等人，統統不是大將之材，所以勞師而無功，徒令匈奴人欺辱。
一日，漢文帝劉恆閒來無事，路經郎署。劉恆突然想起來，郎署，是漢帝國禁衛軍軍官的辦公地，也可以說，這是一個漢軍的軍官儲備庫。劉恆叫停了馬車，吩咐道：“朕想進郎署看看。”
皇帝親臨郎署，郎署長馮唐已經是個上了年紀的人，親自迎接劉恆。
劉恆問馮唐：“老先生是什麼地方人呢？”
馮唐回答：“我先祖是趙國人，父親遷移到了代國。”
劉恆在即位前，被封為代王，對趙、代兩國的舊聞相當的熟悉，便問馮唐：“那老人家您聽說過趙國的大將李齊吧，在鉅鹿之戰中，李齊打仗戰相當梟勇啊。”
馮唐回答說：“李齊比起趙國以前的名將廉頗、李牧，那可差遠了。”
劉恆輕輕地嘆了一口氣，說：“廉頗、李牧真可以說是一代名將了，要是我能得到象廉頗、李牧這樣的大將，匈奴人又怎麼敢如此的猖獗啊。”
馮唐很不客氣地說：“陛下就算得到廉頗、李牧這樣的將領，恐怕也不能重用呢。”
劉恆聽了後不禁勃然大怒，氣乎乎地拂袖而去。
過了幾天，劉恆稍稍消氣，細細回味馮唐那句冒失的話，似乎是有弦外之音，於是下令召見馮唐。
劉恆責問馮唐：“你說我即便得到廉頗、李牧的將領，也不能重用。這是哪門子道理，你得說清楚。”
馮唐謝罪道：“老臣是個鄉鄙之人，直來直往的，不懂得避忌，陛下見諒。老臣聽說古代君王在任用將領出徵時，非常的鄭重，臨行前要要親自推車，並囑咐道：朝廷內之事，由寡人作主；朝廷外之事，由將軍裁斷，軍功爵賞，都交由將軍處置，先行後奏。
老臣曾經聽過祖父說過趙國李牧將軍的故事，李牧為趙國守禦北疆，在邊疆地區設立貿易市場，所得的利稅，都用來犒賞將士，不必上報政府，趙國君主並不遙制。所以李牧得以充分展示才能，北逐匈奴，東破東胡、澹林，西抑強秦，南援韓、魏，立下赫赫戰功。”
“你等等，”劉恆打斷馮唐的話頭，“你的意思是寡人不如趙國國君不成？”
“陛下息怒。”馮唐答道，“陛下可還記得原雲中太守魏尚？”
魏尚，這名字好熟。劉恆想了想，記起來了：“不錯。去年魏尚謊報戰功，所以被我下令解職了，並且還服一年的苦役。難道你認為寡人這樣處置不當麼？”
馮唐答道：“陛下，雲中太守魏尚，奉命守邊，恪盡職守。他沿用李牧的方法，把邊區貿易市場所得的租稅，全部用來犒賞士卒，甚至還把自己的俸祿也拿出來，以補日常所用。所以士卒樂於效命。去年時匈奴曾進攻過雲中郡，魏尚率部迎戰，斬獲頗多。但僅僅因為上報戰功時，所報斬殺匈奴人首級與實際相差六個，結果朝廷不僅未表彰其戰功，反而被削去官職，還要服一年苦役。”
馮唐嘆了一口氣，接著說道：“