元朔六年，深得大將軍衛青信任、倚重的翕侯趙信，在戰局不利的情況下，投降匈奴，並軍同行的右將軍蘇建全軍覆沒，造成了衛青戰績上僅有的一抹失敗之色。
元狩四年，漢出十萬騎分兩路度幕，驃騎將軍霍去病出代郡，直匈奴左方兵，封狼居胥山，禪於姑衍，登臨翰海，大將軍衛青出定襄，當單于精兵，卻因前將軍李廣與右將軍趙食其失道，漢軍兵力不足，未能完成計劃中的合圍，讓單于逃離戰場，漢軍連夜追擊卻未能捕獲單于，遂至窴顏山趙信城，得匈奴積粟，大軍休整一日後即返回漢，並將城中無法帶走的粟全部焚盡。
——這是大將軍衛青第一次做出這般類似於趕盡殺絕之舉的行動。
在回到漠南之後，遇到失道的李廣、趙食其兩部時，素來溫和的衛青第一次命長史簿責失道的下屬，最終，李廣自殺，趙食其下吏。
一年後，李廣之子、關內侯李敢出任郎中令，因父死而怨大將軍，出手擊傷了衛青。
霍光記得，自己告訴兄長李敢打傷衛青的訊息後，他的兄長憤恨地拔劍砍向面前漆案，案角斷裂，他還是驚懼中，就見兄長扔開鎏金銅劍，不安地看向他：“舅舅不會以為是我的主意吧？”
霍光當時也是一愣，卻因為室內只有他們兄弟兩人，而不能不答，他用力搖頭，十分肯定：“舅舅不會。”
——衛青對霍去病的疼愛，所有人都看得很清楚，怎麼可能會因為李敢隨霍去病出徵過一次便誤會若此？
霍光是這樣想的，但是，霍去病卻搖了搖頭，俯身拾起銅劍，隨即便踞坐在大床邊，神色凝重地陷入了沉思。
他的兄長說：“真的不會？舅舅心細得很，自從並列大司馬開始，便對我處處退讓，連一干故將都推到這邊……那是陛下的意思，的確無可慮，可是……這一次……這訊息不是舅舅讓你告訴我的，是不是？”在得他肯定的答覆後，他的兄長再次黯然了神色：“舅舅瞞著我呢……”
霍光頓時凜然——的確，衛青是不願霍去病知道此事，當時在宮門前的所有人都被大將軍勒令噤聲，他本來也是不想多嘴的……
——衛青為何如此？
——那位大司馬大將軍當真謙和至此？
——抑或是……另有擔憂？
——比如霍去病的態度？
——不知道答案總比失望要好……不是嗎？
他聽到劍尖在塊塊方磚上劃過的聲音，他聽到兄長憤恨地冷言：“為父報仇？他李敢這一年多都是在忍耐嗎？”他聽到兄長氣惱地跺腳：“我就知道，逢上趙信這兩字就沒好事！早知道……該死的趙信！”
直到兄長病重時，他才問出自己的疑惑，他的兄長撇嘴回答：“當初用趙信是舅舅力主的，可是趙信做了什麼？那不是戰敗，而是背叛！那就是舅舅心裡的一根刺！不然舅舅非去趙信城放一把火做什麼？若是平常，我也不在乎，可是偏偏是那會兒！”
霍光證實了自己的猜測——他的兄長冒大不敬的風險，在天子行獵之時射殺隨駕的李敢，多少有幾分向衛青表忠心的意思。
——也許該說李敢選錯了時機？
當時，霍去病已病得不能起身，只能躺在床上，卻用很堅決的語氣說：“舅舅少時艱苦，別看他處世圓融，實際上，對人對情看得極重，受了傷也只是自苦得多。別人不管，我卻不會做那樣的事情！再說，舅舅看重的，也是我在乎的！衛氏如此，太子如此！”隨即看著霍光道：“你與衛氏沒有關係，另有想法也沒什麼，不過，若是那樣，你就不要太親近舅舅與據兒了！”
他當時就搖頭，說自己絕對不會有其它想法，事後再想卻總是驚出一身冷汗——他當時若是反應稍慢上一些，讓霍去病有了想法，他那位恣意隨性的兄長會怎麼對他呢？
——也許什麼也不會做……
霍去病當時也只是笑著搖頭：“你自己應的自己記著吧！”
——因為他的兄長自己知道自己的身體……
霍光記著自己應的諾——應諾再違諾便是背叛了。
——上官桀有應諾嗎？
送走張安世與杜延年，霍光忽然就想到了這個問題。
想到這個問題，他便不由一怔，隨即便無奈地自嘲苦笑。
——是的，上官桀從沒有許諾一定遵從霍光的想法行事！
大將軍幕府的屬吏就看著自己的主官忽然在堂前的廡廊下站住，盯著正堂敞開的大門出神。
楊敞攔下眾人，讓大家