榮遂入洛，因將篡位。神武諫，恐不聽，請鑄像卜之，鑄不成，乃止。孝莊帝立，以定策勳，封銅鞮伯。及爾朱榮擊葛榮，令神武喻下賊別稱王者七人。後與行臺於暉破羊侃於泰山，尋與元天穆破邢杲於濟南。累遷第三鎮人酋長，常在榮帳內。榮嘗問左右曰：“一日無我，誰可主軍？”皆稱爾朱兆。曰：“此正可統三千騎以還，堪代我主眾者，唯賀六渾耳。”因誡兆曰：“爾非其匹，終當為其穿鼻。”乃以神武為晉州刺史。於是大聚斂，因劉貴貨榮下要人，盡得其意。時州庫角無故自鳴，神武異之，無幾而孝莊誅榮。
及爾朱兆自晉陽將舉兵赴洛，召神武。神武使長史孫騰辭以絳蜀、汾胡欲反，不可委去。兆恨焉。騰覆命，神武曰：“兆舉兵犯上，此大賊也，吾不能久事之。”自是始有圖兆計。及兆入洛，執莊帝以北，神武聞之，大驚。又使孫騰偽賀兆，因密覘孝莊所在，將劫以舉義，不果。乃以書喻之，言不宜執天子以受惡名於海內。兆不納，殺帝，而與爾朱世隆等立長廣王曄，改元建明。封神武為平陽郡公。及費也頭紇豆陵步藩入秀容，逼晉陽，兆徵神武。神武將往，賀拔焉過兒請緩行以弊之。神武乃往往逗遛，辭以河無橋不得渡。步藩軍盛，兆敗走。初，孝莊之誅爾朱榮，知其黨必有逆謀，乃密敕步藩令襲其後。步藩既敗兆等，以兵勢日盛，兆又請救於神武。神武內圖兆，復慮步藩後之難除，乃與兆悉力破之。藩死，深德神武，誓為兄弟。時世隆、度律、彥伯共執朝政，天光據關右，兆據幷州，仲遠據東郡，各擁兵為暴，天下苦之。
葛榮眾流入並、肆者二十餘萬，為契胡陵暴，皆不聊生，大小二十六反，誅夷者半，猶草竊不止。兆患之，問計於神武。神武曰：“六鎮反殘，不可盡殺，宜選王素腹心者私使統焉。若有犯者，直罪其帥，則所罪者寡。”兆曰：“善，誰可行也？”賀拔允時在坐，請神武。神武拳毆之，折其一齒，曰：“生平天柱時，奴輩伏處分如鷹犬，今日天下安置在王，而阿鞠泥敢誣下罔上，請殺之。”兆以神武為誠，遂以委焉。神武以兆醉，恐醒後或致疑貳，遂出，宣言受委統州鎮兵，可集汾東受令。乃建牙陽曲川，陳部分。有款軍門者，絳巾袍，自稱梗楊驛子，願廁左右。訪之，則以力聞，常於幷州市搭殺人者，乃署為親信。兵士素惡兆而樂神武，於是莫不皆至。居無何，又使劉貴請兆，以並、肆頻歲霜旱，降戶掘黃鼠而食之，皆面無谷色，徒汙人國土，請令就食山東，待溫飽而處分之。兆從其議。其長史慕容紹宗諫曰：“不可，今四方擾擾，人懷異望，況高公雄略，又握大兵，將不可為。”兆曰：“香火重誓，何所慮也。”紹宗曰：“親兄弟尚爾難信，何論香火！”時兆左右已受神武金，因譖紹宗與神武舊有隙，兆乃禁紹宗而催神武發。神武乃自晉陽出滏口。路逢爾朱榮妻北鄉長公主，自洛陽來，馬三百匹，盡奪易之。兆聞，乃釋紹宗而問焉。紹宗曰：“猶掌握中物也。”於是自追神武。至襄垣，會漳水暴長，橋壞。神武隔水拜曰：“所以借公主馬，非有他故，備山東盜耳。王受公主言，自來賜追，今渡河而死不辭，此眾便叛。”兆自陳無此意，因輕馬渡，與神武坐幕下，陳謝，遂授刀引頭，使神武斫己。神武大哭曰：“自天柱薨背，賀六渾更何所仰，願大家千萬歲，以申力用。今旁人構間至此，大家何忍復出此言！”兆投刀於地，遂刑白馬而盟，誓為兄弟，留宿夜飲。尉景伏壯士欲執兆，神武齧臂止之曰：“今殺之，其黨必奔歸聚結。兵飢馬瘦，不可相支，若英雄崛起，則為害滋甚。不如且置之。兆雖勁捷，而兇狡無謀，不足圖也。”旦日，兆歸營，又召神武，神武將上馬詣之，孫騰牽衣，乃止。兆隔水肆罵，馳還晉陽。兆心腹念賢領降戶家累別為營，神武偽與之善，觀其佩刀，因取之以殺其從者，從者盡散。於是士眾鹹悅，倍願附從。初，魏真君內學者奏言上黨有天子氣，雲在壺關大王山。太武帝於是南巡以厭當之，累石為三封，斬其北鳳凰山，以毀其形。後上黨人居晉陽者，號上黨坊，神武實居之。及是行，舍大王山六旬而進。將出滏口，倍加約束，纖毫之物，不聽侵犯。將過麥地，神武輒步牽馬。遠近聞之，皆稱高儀同將兵整肅，歸心焉。遂前行，屯鄴，求糧相州刺史劉誕，誕不供。有軍營租米，神武自取之。
魏普泰元年二月，神武自軍次信都，高乾、封隆之開門以待，遂據冀州。是月，爾朱度律廢元曄而立節閔帝，欲羈縻神武。三月，乃白節閔帝，封神武為渤海王，徵使入覲。神武辭。四月癸巳，又加授東道大行臺、第一鎮人酋長。龐蒼鷹自太原來奔，神武以為行臺郎，尋以為安州刺史。神武自向山東，養士繕甲，禁