小組負責人李達跟共產國際代表馬林之間有所齟齬，當即乘隙而入，反客為主，成為中共“一大”的主持人。後來中共“一大”選出陳獨秀為書記，張國燾為組織主任，李達為宣傳主任——張國燾成為中共最早的三位領袖人物中的一個。雖說張國燾在中共“一大”之後的地位時浮時沉，不過，在一九三一年一月十日，中共六屆四中全會產生的政治局推選三人為常委，張國燾仍是三常委（向忠發、周恩來、張國燾）之一。此後不久，決定張國燾赴鄂豫皖根據地，周恩來赴江西中央蘇區。
張國燾和陳昌浩一起於一九三一年四月下旬由顧順章護送前往鄂豫皖根據地。不久，張國燾擔任鄂豫皖中共中央分局書記兼軍委主席。從此，他一直是那裡的首腦。鄂豫皖根據地是當時僅次於江西中央蘇區的紅色區域。正因為這樣，一九三一年十一月七日當中華蘇維埃共和國宣告成立時，張國燾是中央政府副主席兼“副總理”，地位僅次於毛澤東。後來，由於蔣介石一次次“圍剿”，張國燾的鄂豫皖根據地不斷西移，一九三二年底移至川陝邊區，改稱川陝根據地。
當朱毛紅軍整編為紅軍第一方面軍時，張國燾所率紅軍整編為紅軍第四方面軍，成為紅軍三大主力之一——紅軍第二方面軍由賀龍為總指揮，任弼時為政委（無第三方面軍）。紅四方面軍以徐向前為總指揮，陳昌浩為政委，而張國燾為軍委主席。紅一方面軍在湘江之役後，損失過半，兵力只有三萬多人，而紅四方面軍因在川陝根據地未動，所以擁有五個軍八萬多人，超過紅一方面軍一倍多！
一九三五年三月，紅四方面軍也開始長征，進入四川。六月十六日，紅一方面軍和紅四方面軍會師於四川懋功。張國燾在一九六六年發表於香港《明報月刊》的《我的回憶》中這麼寫及：毛澤東率領著中共中央政治局委員們和一些高階軍政幹部四五十人，立在路旁迎接我們。我一看見，立即下馬，跑過去，和他們擁抱握手。久經患難，至此重逢，情緒之歡欣是難以形容的。毛澤東站到預先佈置好的一張桌子上，向我致歡迎詞，接著我致答詞，向中央致敬，並對紅一方面軍的艱苦奮鬥，表示深切的慰問。
兩大主力會師後，決定由中革軍委統一指揮。遵義會議後，雖成立了新的毛、周、王“三人團”，但中革軍委未動，仍以朱德為主席，周恩來、王稼祥為副主席。此時，增加張國燾為副主席。然而，在“擁抱握手”之後，張國燾自恃兵多勢強，便要與毛澤東相對抗。張國燾先是提出“向南攻打成都”，毛澤東主張“北上抗日”。六月二十六日，在四川兩河口的中共中央政治局會議上，毛澤東的意見得以透過，否定了張國燾的意見。
七月十八日，張國燾策動陳昌浩致電朱德，毫不掩飾地提出：職堅決主張集中軍事領導，不然無法順利滅敵，職意仍請燾任軍委主席，朱德任總前敵指揮，周副主席兼參謀長。中政局（指中共中央政治局——引者注）決大方針後，給軍委獨斷決行。中國人民解放軍政治學院黨史教研室編：《中共黨史教學參考資料》，第十五冊。
這就是說，要以張國燾為中央軍委主席，由他“獨斷決行”！張國燾向毛澤東發起了挑戰。鬥爭越來越激烈。
一九三五年十月五日，張國燾率紅四方面軍及原紅一方面軍建制的五軍團南下，在四川北部的卓木碉（今馬爾康縣東南），自行成立“中共中央”、“中央政府”和“中央軍委”，自封“主席”。他還以他那個“中共中央政治局”的名義，透過了《決議》，宣佈撤銷毛澤東、周恩來、博古、張聞天的工作，開除中央委員及其黨籍！這時，毛澤東所率紅一方面軍堅持北上，於十月十九日到達陝北吳起鎮，與陝北紅軍會師。這樣，終於結束了歷時一年、經歷十一個省、長驅二萬五千裡的長征。十一月十二日，中共中央致電張國燾：“不得冒用中央名義，只有一箇中央。”十二月五日，張國燾致電中共中央，宣稱：
甲、此間已用黨中央、少共中央、中央政府、中央軍委、總司令等名義對外發表檔案，並和你們發生關係；
乙、你們應以黨北方局、陝甘政府和北路軍名義，不得再冒用黨中央名義；
丙、一、四方面軍名義已取消；
丁、你們應將北方局、北路軍和政權組織狀況報告前來，以便批准。
張國燾的口氣是如此咄咄逼人。
中共面臨著大分裂！紅軍面臨著大分裂！毛澤東面臨著嚴酷的局面！以毛澤東為首的中共中央，當然不可能接受張國燾那個“黨中央”的“領導”；以張國燾為首的那個“黨中央”，也不