到東北，如果沒有羅榮桓的話，不會影響東北的工作，因為東北有了主要領導人。於是，他向中央建議，能否讓他休息一段時間，如果一定要他去東北，最好不要讓他當部隊的主要領導人。同時，山東分局的領導人黎玉和舒同也致電中央，建議讓羅榮桓休息，他們二人太瞭解羅榮桓的病情了。中央覆電，東北還是要去，到東北後治療條件可能要好一些。軍人以服從命令為天職，羅榮桓也不好再講什麼。
踏上黑土地
為了使部隊順利渡海到東北去，山東軍區做了大量工作。羅榮桓指定膠東軍區司令員許世友負責部隊的渡海工作。許世友指揮部隊消滅、驅逐了煙臺附近崆峒島和蓬萊以北內長山各島嶼上的偽軍，又乘勝佔領了瀕臨遼東半島的外長山各島，控制了渤海海峽，並在各島上設立兵站，屯積給養，形成了山東向東北進軍的跳板，保證了海運安全和供應。安全的登陸點有了，中轉站也有了，但要渡海還必須有運輸工具。羅榮桓又命令組織海運指揮部，由許世友親自擔任總指揮。他動員了３０多隻汽船、１４０只帆船，分別在蓬萊縣的欒家口、黃縣的龍口兩個港口組織部隊登船。
龍口和欒家口，自古以來就是山東人從海路闖關東的集結地和出發地。老百姓闖關東是為了生存，山東軍區部隊闖關東的目的，卻不僅僅為了生存，而是先佔領東北，將來進一步解放全中國。
從１９４５年１０月底開始，山東軍區的部隊陸續出發，除個別部隊是走陸路外，其他絕大多數都是分三批乘船到東北的。
山東軍區開創了我軍歷史上最大規模的渡海行動。１０月２４日，羅榮桓接到中央的電報，要他“率輕便指揮機關，日內去東北”。
當天，羅榮桓便告別了原山東分局的領導，包括黎玉和舒同等人，踏上了新的征途。
羅榮桓是從臨沂出發的，先是乘汽車，沿著臺（兒莊）濰（縣）公路向東北方向前進。抗戰８年，特別是日軍投降後，因為繳獲了大量的日軍裝備，八路軍的裝備水平已有大幅度的改善。這次行軍，羅榮桓也享受到首長的待遇，他與林月琴、羅生特大夫和一名衛生員合乘一輛小汽車。其他很多人都是乘卡車，還有部分騎兵乘馬在後面跟進。
行軍的第一天，部隊在莒縣宿營，第二天到達諸城。因為國民黨勾結日偽殘餘重新佔領了膠縣城，從諸城到膠縣的公路破壞了，汽車不能繼續前進，只好在諸城過夜。這一天，由於旅途勞累，羅榮桓的病情加劇。第三天，部隊無法乘汽車前進，只能步行，羅榮桓也不能騎馬，只好又躺在擔架上。
過膠濟路的那天夜晚，正在急行軍，羅榮桓的擔架突然斷了，隊伍不得不停下來，警衛部隊派出警戒。管理處長何敬之派人隨嚮導到附近村子裡找門板，由於護送部隊人很少，停留的地方離鐵路又近，大家都為羅榮桓的安全擔心。
找門板的人走後不久，就聽到村子裡的狗叫了起來。那時，為了便於八路軍夜間活動，根據地和游擊區的狗都打光了，可這一帶以前是敵佔區，村子裡還有狗。俗話說，一犬吠形，十犬吠聲。頃刻間，遠近都有狗吠聲。有的幹部怕驚動敵人，羅榮桓卻胸有成竹地說：“現在不是從前了。現在，狗一叫，敵人會嚇得更不敢出來。”不錯，等找門板的人回來，也沒有出什麼事。
羅榮桓一行在膠縣以西穿過膠濟鐵路，膠東南海軍分割槽司令員賈若瑜派來汽車接羅榮桓進入萊陽城。膠東軍區司令員許世友正在海上組織渡海行動，政委林浩和其他領導幹部都趕來看望羅榮桓。
在萊陽，羅榮桓接到了中共中央１０月３１日發出的關於組建東北人民自治軍的命令，任命林彪為總司令，彭真、羅榮桓為第一、第二政治委員，呂正操、李運昌、周保中為副總司令員，蕭勁光為副總司令兼參謀長，程子華為副政治委員。
１１月５日，羅榮桓一行到達龍口。因為這次行動是保密的，所以他們都化了裝，羅榮桓化裝成一位教授，身穿深色長衫，頭戴禮帽，林月琴穿著陰丹士林布旗袍，作為教授的夫人。參謀處長李作鵬、保衛部長蘇靜和供給處長何敬之都扮成商人。保密的原因是中央要求去東北的部隊，“在進入滿洲邊境時，絕不被蘇聯紅軍及英、美、國民黨人發現”。
一到碼頭，只見岸邊是一隊隊等待上船的部隊。海灣內外，滿眼是船，嘈雜的人聲和喧囂的濤聲匯合在一起，從中可以看出，膠東軍區為渡海行動做了大量的工作。
１１月３日，膠東軍區接到毛澤東親自起草的一份電報：
“膠東區黨委：