大軍南來，掠我州縣，虐我百姓，兵鋒直抵畿輔，此亙古未有之奇恥大辱也。故朕決意臥薪嚐膽、整軍經武，豈有懼謀刺而遠天下之理？王者視四海如一家，封域之內，皆朕赤子，朕一一推心置其腹中，奈何宿衛之士亦加猜忌乎？”
貞觀元年十二月，奉命出使突厥的鴻鸕寺少卿鄭元壽回到長安，上表曰：“突厥之興盛，以羊馬牲畜為標誌。今突厥民飢畜瘦，此將亡之兆也。其內外離怨，諸部多叛，兵漸弱，臣算其敗亡，不出三載……”
貞觀二年元月初一，貞觀皇帝李世民免去了一年一度的年筵，開承天門放百官入太極宮，在太極殿公議突厥事。太上皇李淵也意外地參與了此次朝會。
在朝會上，群臣紛紛上奏請擊突厥，趙國公尚書右僕射長孫無忌獨持異議，他道：“貞觀元年之前，突厥歲歲犯塞，而朝廷未長出兵懲之；而貞觀元年，突厥未犯塞，如此棄信勞民，非王者之師所為也。如此蠻夷之族再不信朝廷，則突厥雖滅，邊塞難安也……”
李世民斟酌再三，在請示了太上皇李淵之後下敕：“朕與突厥方盟誓不久，而即背約為失信，乘人之危而發大兵征討為不仁；此時行天罰，雖勝亦非武。縱使其六畜皆亡，諸族皆叛，亦不可攻；非待其有罪，朕不罰也……”
事後群臣議論紛紛，一致以為皇帝之所以決定不在這個時候發兵，政治考慮明顯多於軍事考慮。一者長孫無忌所言確實是謀國之言，二者朝廷此刻的軍事準備確實還不夠充裕。皇帝關注的不僅僅是一個突厥，而是周邊大大小小十幾個夷邦，大唐若要一一蕩平這些外族，消耗必大，這與皇帝偃武修文的本意背道而馳。要賓服四夷，德化懷柔的手段是不可或缺的，要保證這樣的手段能夠有效，就必須注意維護軍事行動背後的道義基礎。
儘管李世民沒有趁此時機發兵平滅突厥，但相應的軍事行動卻一步緊似一步。貞觀二年，趁突厥內亂之機，唐廷以霍國公柴紹為元帥，以右驍騎大將軍薛萬均為副元帥，發馬步軍八萬奇襲朔方，僅半月時間便迫使梁師都麾下大將軍李萬寶來降。隨後薛萬均率萬騎迂迴統萬城，抄了梁師都的後路，也切斷了突厥大軍南援的必爭之道。柴紹則率唐軍主力包圍朔方城，圍城二十餘日，梁師都外援斷絕，為部將所殺，朔方遂破。
貞觀二年年末，突利可汗領地內薛延陀、回紇兩部落反，突利出兵平叛，反為所敗，單騎逃往頡利牙廷請兵。不料頡利竟將其關押十數日，並加以撻責。自此冒合神離的兩位可汗終於公開決裂。突利後來回到自己的領地後，當即便斬了頡利的使者，其後頡利數次向其徵兵，突利均不加理睬，卻暗中向唐廷上表，表示願意歸附。
貞觀三年八月，代州都督張公謹上表言突厥之可勝，表曰：“頡利縱慾逞暴，誅忠良，暱奸佞，一也。薛延陀等諸部皆叛，二也。突利、拓設、欲谷設皆得罪，無所自容，三也。塞北霜早，餱糧乏絕，四也。頡利疏其族類，親委諸胡，胡人反覆，大軍一臨，必生內變，五也，華人入北，其眾甚多，比聞所在嘯聚，保據山險，大軍出塞，自然響應，六也”。
九月初一，貞觀皇帝釋出任命敕，以南陽郡公兵部尚書李靖為河西道行軍總管，以代州都督張公謹為行軍副總管，發大兵五萬征討突厥，此次抽調的是在洛陽集訓多年身經百戰的玄甲軍，其鋒銳彪悍，天下莫有能抗。仗打到九月，頡利麾下九名俟斤率三千騎來降，十月，拔野古、僕骨、同羅、奚酋長等部落紛紛來降，進擊頡利的外圍障礙基本上被掃清。
十一月，頡利以大唐背約為藉口，發兵進犯河西，肅州、甘州兩地守軍在劉弘基節度之下鏖戰月餘，終於擊破了來犯之敵。至此，突厥牙廷的影響力被壓縮在定襄郡周圍不大的一片地域內，來自大唐西面、西北、北面等幾個方向的軍事威脅均被消除，與突厥決戰的時機終於成熟了。
貞觀三年十一月十四，李世民在東宮顯德殿設中朝，向文武百官宣示頡利十大罪狀，當即任命幷州都督李世勣為東路行軍總管，左驍騎大將軍薛萬均為副總管，率幷州軍八萬北渡滹沱河，經博陵、雁門、馬邑三郡進擊襄平；兵部尚書檢校中書令李靖為西路軍行軍總管，霍國公柴紹為副總管，率六萬精兵由靈州出塞，經朔方、榆林向襄平方向進擊。東西兩路大軍共計十四萬人馬，都是從大唐軍中精選出來征戰多年經驗豐富的老兵。為保障此次軍事行動的後勤糧秣，李世民下敕由尚書右僕射杜如晦領銜組建了北征行臺，專辦大軍糧秣供給事宜，尚書省戶部自尚書以下堂官、兵部自侍郎以下堂官、中書省兵房舍人、門下省兵科給事中均在行