，擁立阿里不哥為汗。兩汗並立，隨即發生戰爭。
蒙古國軍隊的主力，原由蒙哥統率侵宋。蒙哥死後，大將哈刺不花率部退據六盤山，與留守這裡的渾都海部會合。阿里不哥派出霍魯懷、劉太平等來陝西，拘收錢穀，企圖與六盤山駐軍聯合，自關中進兵。廉希憲、商挺等來京兆，先發制人。6月，以謀反罪處死霍魯懷、劉太平，並處死渾都海在四川的黨羽乞帶不花、明裡火者。忽必烈詔令陝西四川宣撫使八春節制諸軍，命鞏昌權總帥汪良臣統率陝西漢軍防禦六盤山的軍隊。
忽必烈親率大軍自開平出發去和林，攻打阿里不哥。9月，至轉都兒哥之地。阿里不哥派遣阿藍答兒領兵南下，至西涼府，與渾都海軍會合東來，哈刺不花因意見不和引兵北去。忽必烈命諸王合丹、合必赤與八春、汪良臣等率領蒙、漢軍迎戰。兩軍大戰於刪丹，阿里不哥軍潰敗。阿藍答兒、渾都海相繼被殺。阿里不哥敗逃，退至乞兒吉思地，派遣使者與忽必烈相約，邀集西北諸王正式選汗。忽必烈命宗王移相哥統領一軍國駐和林，以待阿里不哥。10月，忽必烈領兵南返，12月至燕京，賞賜擁立諸王。1261年2月，返回開平。
1261年秋，阿里不哥率領斡亦刺等部眾，突然襲擊移相哥軍，乘勝南下。忽必烈得警，急忙徵調張柔、嚴忠嗣、張宏等七處漢軍，並令董文炳率射手千人，塔察兒率軍士萬人隨從出征。11月，忽必烈軍與阿里不哥戰於昔木上腦兒。諸王合丹、駙馬臘真、丞相線真和兀魯、忙兀二部軍為右軍；諸王塔察兒、太醜臺和史天澤等將左軍；諸王哈必赤將中軍，合勢進攻，斬阿里不哥的大將合丹火兒赤。塔察兒與合必赤分兵奮戰，大破斡亦刺軍。阿里不哥後軍阿速臺復至，再戰，兩軍殺傷相當。阿里不哥北撤，忽必烈也還軍。
察合臺汗領地（兀魯思）原由兀魯忽乃妃子攝政。忽必烈即位後，即派遣察合臺曾孫阿必失哈偕弟納鄰合丹去阿力麻裡主持政事。二王行至途中被阿里不哥捕獲。阿里不哥乃派察合臺孫阿魯忽（拜答兒子）去察合臺汗地執政，以為聲援，並防禦在波斯的旭烈兀。阿里不哥遠在漠北，從漢地北運的糧食斷絕，給養缺乏，便派遣使者去察合臺汗領地征斂。阿魯忽殺使者，轉而擁護忽必烈。
1261年秋，阿里不哥領兵往徵阿魯忽。阿魯忽在普刺城迎戰，斬阿里不哥大將哈刺不花。阿魯忽得勝而回，不再戒備。阿里不哥的後軍阿速臺突然進至阿力麻裡地區，阿魯忽敗走和田、喀什噶爾。阿里不哥軍遂駐冬阿力麻裡，阿魯忽西走撤馬爾罕。
阿里不哥進駐阿力麻裡後大肆屠掠，阿魯忽部下多被殺死。1264年春天，又值饑荒，人民死亡甚多。阿里不哥部下將士多逃至駐在阿爾泰地區的扎布汗河上的玉龍答失，共商歸降忽必烈。阿里不哥眾叛親離，又怕阿魯忽報復，走投無路，不得不投附忽必烈。阿里不哥來見忽必烈請罪。忽必烈問他說：我和你誰對？阿里不哥回答說：在以前，是我對。今天，算你對。忽必烈命宗王和將領審訊擁立阿里不哥的諸臣，李魯歡等被處死。忽必烈又分遣使者徵詢波斯旭烈兀、欽察別兒哥和察合臺兀魯思的阿魯忽三王，決定赦免阿里不哥及阿速臺罪。不久，阿里不哥病死。
忽必烈經過和阿里不哥的鬥爭，鞏固了自己的地位後，繼續進行對南宋的侵略。南宋小朝廷這時內部已衰朽不堪，1276年都城臨安（杭州）陷落。以後雖有文天祥、張世傑、陸秀夫等堅持抗戰，但不幸先後失敗，南宋政權於1279年被完全消滅。
忽必烈從青年時起受漢文化影響較多，即位後又多倚靠漢人地主的支援，所以他的統治日益帶有漢化色彩。1271年，在即位10多年之後，正式仿效中國王朝建國號為大元，取《易經》乾元之義。1272年改金中都為大都（北京），宣佈在此建都，宮殿建成後即遷都於此。他統治中心日益移入中國內地，成為中國的一個統治王朝。1276年南宋降，1279年追滅南宋衛王於崖山，完成多民族的統一國家。
忽必烈即位後，採納僧子聰等幕僚的建策，依據漢人封建王朝的傳統，頒佈即位詔，稱皇帝。自成吉思汗建立蒙古國家以來，從未建立年號。忽必烈始建元“中統”，下詔說：“稽列聖之洪規，講前代之定製。建元表歲，示人君萬世之傳。紀時書王，見天下一家之義。法《春秋》之正始，體大《易》之乾元。”表明他是中原封建王朝的繼承人。
忽必烈借鑑了蒙古、金、宋等國的政治制度，設立行省制度，對某些特殊地方則靈活採用不同的制度，如對吐番地區就採用政教合一