原來，就在這時，傅作義、閻錫山為配合胡宗南集團對陝北的進攻，分別向晉西北和晉西攻擊，並已佔領了左雲、孝義、兌九峪等地。直接威脅到已經轉移到晉西北的中央和軍委機關幹部、家屬，包括董必武、謝覺哉、吳玉章等的安全。
由於事關重大，大家都贊成毛澤東的提議，請周恩來親自到河東去一趟，直接同賀龍司令員和先期抵達晉綏的葉劍英。楊尚昆等商量，並轉達中央對晉綏軍區兵力使用方向的意見。
3 月27日，毛澤東以中共中央名義連發數電，向各戰略區通報：“衝央決定在陝北不走。”為了消除各戰略區對黨中央安全的擔心，尤其是對陝甘寧邊區的擔擾，毛澤東在給賀龍、李井泉並告彭德懷、習仲勳的電報中，特意強調：中央率數百人留在陝北不走，這裡人民、地勢均好，甚為安全。
周恩來離開王家坪赴河東後，毛澤東和朱德、劉少奇、任弼時又就中央書記處的分工進行了討論，主要是誰代表中央留在陝北的問題。
朱德、劉少奇、任弼時仍是出於對毛澤東安全的考慮，擺出了種種理由，都表示要把自己留下來，請毛澤東和其他人到河東去。
毛澤東則仍然堅持他一定要留下來，和陝北人民一起打敗胡宗南。
四位書記都執意自己留在炮火連天的前線，誰也不願意到後方去。毛澤東留在陝北的決心已定不可更改，而朱、劉、任則堅持毛澤東的安危事關重大，不容輕率。兩種意見相持不下，直至3 月28日深夜，中央機關轉移到清澗縣石嘴驛以北的棗林溝以後，才在毛澤東的主持下作出了三項決定：一、中央書記處的多數同志，即毛澤東、周恩來、任弼時，代表黨中央、中央軍委和人民解放軍總部留在陝北，領導全國並直接指揮西北戰場的人民解放戰爭。
二、中央書記處書記劉少奇、朱德和中央政治局委員董必武等組成中央工作委員會，前往晉察冀解放區，進行中央委託的工作。
三、將已進入晉西北的中央和軍委大部分工作機構，組成以葉劍英為書記、楊尚昆為司令員的中央後方工作委員會和後方支隊，統籌後方工作。
3 月30日，毛澤東發電報給賀龍，請他直接轉告周恩來：朱、劉明晚動身去臨縣與董必武、葉劍英會合。請周速返陝北，與毛、任主持中央工作。
的確，毛澤東歷來是不顧及自己的。就在中共中央的決定開始實施，中央工委的領導人即將離開陝北，中央警衛團為此進行著警衛力量安排的時候，毛澤東接見了警衛團長劉輝山。毛澤東對劉說：“你們給我留一個班就行了，其餘的都隨總司令和少奇過河，保衛總司令和少奇同志要緊。”
“主席，您這個命令我們很難執行呀！”劉輝山為難地說。“朱總司令早已交待過，要把身強力壯、有戰鬥經驗的戰士留在陝北，保衛黨中央、保衛毛主席。總司令還專門指示，留在陝北的警衛部隊，要我和張庭貞政委、古遠興參謀長親自帶領。既然總司令已經要求得這樣具體，我就不能另搞一套了。”
最終，還是按照朱德的指示，中央警衛團將警衛力量重新作了調整，留一個手槍連、一個騎兵連和兩個步兵連保衛黨中央和毛主席，其餘部隊跟隨劉少奇、朱德、葉劍英、楊尚昆等東渡黃河。
3 月31日下午，中央機關就要離開棗林溝分路行進，一路隨朱德、劉少奇乘車東渡黃河，一路由毛澤東、任弼時帶領奔向綏德方向。
在山坡下的岔路口，兩路人馬都已列隊待發，毛、朱。劉、任相互—一握手道別。毛澤東與朱德的兩雙巨手緊緊地握在了一起，都以深情的目光瞅著對方。毛澤東說：“朱總，請您多多保重。”朱德道：“主席，一定注意安全呀！”在場的人們不禁由此想到了井岡山的朱毛會師，都堅信這次兩位偉人道別後的更大勝利的到來。
為了適應戰爭需要，留在陝北的中共中央機關和解放軍總部機關工作人員，按照戰時軍事編制組織起來，分編為4 個大隊。
為了便於統一指揮，按照毛澤東的意圖，還成立了一個司令部，由任弼時任司令員，陸定一任政治委員，葉子龍任參謀長，汪東興任副參謀長，廖志高任政治部主任，這是中國革命戰爭史上一支特殊的部隊。
根據新任司令任弼時的建議，這支部隊的番號暫時稱“3 支隊”，下轄的中央警衛團暫時叫“9 團”。為了保密，任弼時還要求中央和支隊領導都必須使用代號。
在周恩來返回陝北，與毛澤東等會合後的一天，幾位領導人在一起議論起各自的代號。