的領導，重新登記了黨、團員，調整了黨、團組織，成立了黨支部。
當時部隊中總計還有五六十名中共黨員，粟裕是其中之一。那時候，起義部隊還不懂得把支部建在連上，但是實行了把一部分黨團員分配到各個連隊中去，從而加強了黨在基層的工作。粟裕說，是一項對於支部建設具有重大意義的措施。
大庾整軍，起義部隊統一整編為七個步兵連，一個迫擊炮連，一個重機槍連，九個連組成了一個團。粟裕被任命為第五連指導員。第五連的連長是耿凱，他是朱德領導下的教育團的學生，後來在戰鬥中犧牲了。
大庾整軍以後，粟裕就是起義部隊的一名中級指揮官了。
粟裕曾說，“這次大庾整編，是我們這支部隊改造的重要開端。我軍的完全改造，是上井岡山以後，在毛澤東同志領導下實現的。”
經過整編後的起義軍，大約有六七百人。但這支隊伍在敵人心中的目標相當大。國民黨反動勢力知道這支隊伍是南昌起義軍餘部，是共產黨領導的一支革命武裝。隊伍走到哪裡，都有地主民團給國民黨軍隊通風報信，國民黨軍隊就尾隨而至。為了縮小目標，便於隱蔽，這支隊伍便採用“國民黨第五縱隊”番號，司令員是朱德，化名王楷，指導員陳毅，參謀長是王爾琢。
10月底，粟裕跟隨朱德在信豐轉戰時，贛南特委派人到信豐接頭，通報了毛委員率領秋收起義部隊已上井岡山的訊息。
朱德、陳毅聽到這個訊息非常高興。陳毅曾讀過毛澤東的《湖南農民運動考察報告》，知道毛澤東是著名的共產黨員和農民運動領袖，久已景仰。
毛澤東上井岡山的訊息給孤軍轉戰中的起義軍以極大的鼓舞和力量。
11月上旬，粟裕隨朱德、陳毅率領的隊伍來到崇義縣。這裡群眾基礎較好，又是山區，便於部隊隱蔽活動。部隊進入山區，發動群眾，開展游擊戰爭。以連為單位，把武裝鬥爭同農民運動結合起來。後來，粟裕回憶說，雖然這還是初步的嘗試，但意義是重大的。
在崇義期間，朱德、陳毅為了向毛澤東通報南昌起義部隊的近況，派毛澤東的弟弟毛澤覃上井岡山去聯絡。不久，毛澤東所部的一個營由張子清、伍中豪率領來到朱德、陳毅的駐地附近。陳毅親自換上便衣去和他們取得了聯絡。張子清、伍中豪是在上井岡山的途中遭敵人襲擊而轉移到這裡來的。
透過張子清和伍中豪，陳毅瞭解毛澤東上井岡山前夕的一些情況。朱德、陳毅把部分裝備送給張子清部，除補充該營外，還帶上井岡山一部分。
12月上旬，粟裕隨部隊轉移到仁化。在這裡部隊和中共廣東北江特委取得了聯絡，知道我黨要舉行廣州起義的訊息，同時接到黨中央來信，指示朱德、陳毅所部於12月15日趕到廣州，參加廣州起義。
隊伍日夜兼程。當趕到韶關時，得知廣州起義已經失敗。
朱德和陳毅率領隊伍轉移到韶關西北的犁鋪頭，這是一個農村集鎮。部隊白天訓練，晚上以連、排為單位，分頭宣傳群眾，發動群眾。在這裡，南昌起義儲存下來的部隊有所壯大、並開始了打土豪的鬥爭。在鬥爭實踐中，這支隊伍不斷探索新的革命道路，開始實現從城市到農村、從正規戰到游擊戰的重大戰略轉變。
這時，朱德利用與滇軍範石生是雲南講武堂同班同學的老關係，把起義部隊隱蔽在範石生部，與範達成“部隊編制、組織不動，要走隨時就走”的協議，用國民革命軍十六軍四十七師一四○團名義把部隊隱蔽起來。朱德任四十七師副師長兼一四○團團長。範石生給了一批現洋和軍用物資，補充了部隊，解決了當時彈藥、冬衣、被服等供給困難。
當蔣介石發覺朱德的隊伍隱蔽在範石生部時，密令範石生解除一四○團的武裝，逮捕朱德。
範石生不忘舊誼，信守協議，立即秘密地通知了朱德。
朱德和陳毅帶著部隊連夜出發，西渡武水，向湖南開進。
粟裕的連隊隨大部隊於1928年農曆春節前開進宜章城。隊伍打著國民黨軍隊的旗號，利用胡少海特殊身份，智取了宜章城。當晚，國民黨宜章縣政府的官員和當地豪紳大擺筵席，歡迎以王楷為團長，胡少海為團副的一四○團進駐宜章。
宴會中，按照預定計劃在席間逮捕了國民黨的政府官員和地主鄉紳，宣告本軍是中國共產黨領導的工農革命軍，並宣佈宜章暴動成功。
起義軍解除了縣城內的反動武裝，砸開監獄，釋放了獄中的共產黨員和革命群眾；開啟地主豪紳的糧倉