侵掠，百姓歸心。乃詐為書，言爾朱兆將以六鎮人配契胡為部曲，眾皆愁怨。又為幷州符，徵兵討步落稽。發萬人，將遣之，孫騰、尉景為請留五日，如此者再。神武親送之郊，雪涕執別，人皆號慟，哭聲動地。神武乃喻之曰：“與爾俱失鄉客，義同一家，不意在上乃爾徵召。直向西已當死，後軍期又當死，配國人又當死，奈何！”眾曰：“唯有反耳！”神武曰：“反是急計，須推一人為主。”眾願奉神武。神武曰：“爾鄉里難制，不見葛榮乎？雖百萬眾，無刑法，終自灰滅。今以吾為主，當與前異，不得欺漢兒，不得犯軍令，生死任吾則可，不爾不能為，取笑天下。”眾皆頓顙，死生唯命。神武曰若不得已。明日，椎牛饗士，喻以討爾朱之意。封隆之進曰：“千載一時，普天幸甚。”神武曰：“討賊，大順也；拯時，大業也。吾雖不武，以死繼之，何敢讓焉！”
六月庚子，建義於信都，尚未顯背爾朱氏。及李元忠與高乾平殷州，斬爾朱羽生首來謁，神武撫膺曰：“今日反決矣。”乃以元忠為殷州刺史。是時兵威既振，乃抗表罪狀爾朱氏。世隆等秘表不通。八月，爾朱兆攻陷殷州，李元忠來奔。孫騰以為朝廷隔絕，不權立天子，則眾望無所繫。十月壬寅，奉章武王融子渤海太守朗為皇帝，年號中興，是為廢帝。時度律、仲遠軍次陽平，爾朱兆會之。神武用竇泰策，縱反間，度律、仲遠不戰而還。神武乃敗兆於廣阿。十一月，攻鄴，相州刺史劉誕嬰城固守。神武起土山，為地道，往往建大柱，一時焚之，城陷入地。麻祥時為湯陰令，神武呼之曰：“麻都！”祥慚而逃。永熙元年正月壬午，拔鄴城，據之。廢帝進神武大丞相、柱國大將軍、太師。是時青州建義，大都督崔靈珍、大都督耿翔皆遣使歸附。行汾州事劉貴棄城來降。閏三月，爾朱天光自長安、兆自幷州、度律自洛陽、仲遠自東郡同會鄴，眾號二十萬，挾洹水而軍，節閔以長孫承業為大行臺總督焉。神武令封隆之守鄴，自出頓紫陌。時馬不滿二千，步兵不至三萬，眾寡不敵。乃於韓陵為圓陣，連牛驢以塞歸道，於是將士皆有死志，四面赴擊之。爾朱兆責神武以背己，神武曰：“本戮力者，共輔王室，今帝何在？”兆曰：“永安枉害天柱，我報仇耳。”神武曰：“我昔日親聞天柱計，汝在戶前立，豈得言不反邪？且以君殺臣，何報之有？今日義絕矣。”乃合戰，大敗之。爾朱兆對慕容紹宗叩心曰：“不用公言，以至於此！”將輕走。紹宗反旗鳴角，收聚散卒，成軍容而西上。高季式以七騎追奔，度野馬崗，與兆遇。高昂望之不見，哭曰：“喪吾弟矣！”夜久，季式還，血滿袖。斛斯椿倍道先據河橋。初，普泰元年十月，歲星、熒惑、鎮星、太白聚於觜，參色甚明。太史佔雲當有王者興。是時神武起於信都，至是而破兆等。四月，斛斯椿執天光、度律送洛陽。長孫承業遣都督賈顯智、張歡入洛陽，執世隆、彥伯斬之。兆奔幷州。仲遠奔梁州，遂死焉。時兇蠹既除，朝廷慶悅。初，未戰之前月，章武人張紹夜中忽被數騎將逾城，至一大將軍前，敕紹為軍導向鄴，雲佐受命者除殘賊。紹回視之，兵不測，整疾無聲。將至鄴，乃放焉。及戰之日，爾朱氏軍人見陣外士馬四合，蓋神助也。
既而神武至洛陽，廢節閔及中興主而立孝武。孝武既即位，授神武大丞相、天柱大將軍、太師、世襲定州刺史，增封並前十五萬戶。神武辭天柱，減戶五萬。壬辰，還鄴，魏帝餞於乾脯山，執手而別。
七月壬寅，神武帥師北伐爾朱兆。封隆之言：“侍中斛斯椿、賀拔勝、賈顯智等往事爾朱，普皆反噬，今在京師，寵任，必構禍隙。”神武深以為然，乃歸天光、度律於京師，斬之。遂自滏口入。爾朱兆大掠晉陽，北保秀容。幷州平。神武以晉陽四塞，乃建大丞相府而定居焉。爾朱兆既至秀容，分兵守險，出入寇抄。神武揚聲討之，師出止者數四，兆意怠。神武揣其歲首當宴會，遣竇泰以精騎馳之，一日一夜行三百里，神武以大軍繼之。二年正月，竇泰奄至爾朱兆庭。軍人因宴休惰，忽見泰軍，驚走。追破之於赤洪嶺。兆自縊，神武親臨厚葬之。慕容紹宗以爾朱榮妻子及餘眾自保烏突城，降，神武以義故，待之甚厚。
神武之入洛也，爾朱仲遠部下都督橋寧、張子期自滑臺歸命，神武以其助亂，且數反覆，皆斬之。斛斯椿由是內不自安，乃與南陽王寶炬及武衛將軍元毗、魏光、王思政構神武於魏帝。舍人元士弼又奏神武受敕大不敬。故魏帝心貳於賀拔嶽。初，孝明之時，洛下以兩拔相擊，謠言曰：“銅拔打鐵拔，元家世將末。”好事者以二拔謂拓拔、賀拔，言俱將衰敗之兆。時司空高乾密啟神武，言魏帝之貳，神武封呈