獄隊尉景家。神武既累世北邊，故習其俗，遂同鮮卑。長而深沈有大度，輕財重士，為豪俠所宗。目有精光，長頭高權，齒白如玉，少有人傑表。家貧，及娉武明皇后，始有馬，得給鎮為隊主。鎮將遼西段長常奇神武貌，謂曰：“君有康濟才，終不徒然。”便以子孫為託。及貴，追贈長司空，擢其子寧而用之。神武自隊主轉為函使。嘗乘驛過建興，雲務書晦，雷聲隨之，半日乃絕，若有神應者。每行道路，往來無風塵之色。又嘗夢履眾星而行，覺而內喜。為函使六年，每至洛陽，給令史麻祥使。祥嘗以肉啖神武。神武性不立食，坐而進之。祥以為慢己，笞神武四十。及自洛陽還，傾產以結客。親故怪問之，答曰：“吾至洛陽，宿衛羽林相率焚領軍張彝宅，朝廷懼其亂而不問，為政若此，事可知也。財物豈可常守邪？”自是乃有澄清天下之志。與懷朔省事雲中司馬子如及秀容人劉貴、中山人賈顯智為奔走之友。懷朔戶曹史孫騰、外兵史侯景亦相友結。劉貴嘗得一白鷹，與神武及尉景、蔡俊、子如、賈顯智等獵於沃野。見一赤兔，每搏輙逸，遂至迥澤。澤中有茅屋，將奔入，有狗自屋中出噬之，鷹兔俱死。神武怒，以鳴鏑射之，狗斃。屋中乃有二人出，持神武襟甚急。其母兩目盲，曳杖，呵其二子，曰：“何故觸大家！出甕中酒，烹羊以待客。因自言善暗相，遍捫諸人，言皆貴，而指麾俱由神武。又曰：“子如歷位顯，智不善終。”飲竟，出行數里，還更訪之。則本無人居，乃向非人也。由是諸人益加敬異。
孝昌元年，柔玄鎮人杜洛周反於上谷，神武乃與同志從之。醜其行事，私與尉景、段榮、蔡俊圖之，不果而逃，為其騎所追。文襄及魏永熙後皆幼，武明後於牛上抱負之。文襄屢落牛，神武彎弓將射之以決去，後呼榮求救，賴榮透下取之以免。遂奔葛榮，又亡歸爾朱榮於秀容。先是劉貴事榮，盛言神武美，至是始得見。以憔悴故，未之奇也。貴乃為神武更衣，復求見焉。因隨榮之廄，廄有惡馬，榮命剪之，神武乃不加羈絆而剪，竟不蹄齧。已而起曰：“御惡人亦如此馬矣。”榮遂坐神武於床下，屏左右而訪時事。神武曰：“聞公有馬十二谷，色別為群，將此竟何用也？”榮曰：“但言爾意。”神武曰：“方今天子愚弱，太后淫亂，孽寵擅命，朝政不行。以明公雄武，乘時奮發，討鄭儼、徐紇而清帝側，霸業可舉鞭而成。此賀六渾之意也。”榮大悅，語自日中至夜半乃出。自是每參軍謀。後從榮徙據幷州，抵揚州邑人龐蒼鷹，止圍焦中。每從外歸，主人遙聞行響動地。蒼鷹母數見圍焦，上赤氣赫然屬天。又蒼鷹嘗夜欲入，有青衣人拔刀叱曰：“何故觸王？”言訖不見。始以為異，密覘之。唯見赤蛇蟠床上，乃益驚異。因殺牛分肉，厚以相奉。蒼鷹母求以神武為義子。及得志，以其宅為第，號為南宅。雖門巷開廣，堂宇崇麗，其本所住團焦，以石堊塗之，留而不毀。至文宣時，遂為宮。既而榮以神武為親信都督。於時魏明帝銜鄭儼、徐紇，逼靈太后。未敢制，私使榮舉兵內向。榮以神武為前鋒。至上黨，明帝又私詔停之。及帝暴崩，榮遂入洛。因將篡位，神武諫恐不聽，請鑄像卜之。鑄不成，乃止。孝莊帝立，以定策勳，封銅鞮伯。及爾朱榮擊葛榮，令神武喻下賊別稱王者七人。後與行臺於暉破羊侃於太山。尋與元天穆破邢杲於濟南。累遷第三鎮人酋長。嘗在榮帳內，榮嘗問左右曰：“一日無我，誰可主軍？”皆稱爾朱兆。榮曰：“此正可統三千騎以還。堪代我主眾者，唯賀六渾耳。”因誡兆曰：“爾非其匹，終當為其子穿鼻。”乃以神武為晉州刺史。於是大聚斂，因劉貴貨榮下要人，盡得其意。時州庫角無故自鳴，神武異之，無幾而孝莊誅榮。
及爾朱兆自晉陽將舉兵赴洛，召神武。神武使長史孫騰辭以絳蜀、汾胡欲反，不可委去。兆恨焉。騰覆命，神武曰：“兆舉兵犯上，此大賊也，吾不能久事之。”自是始有圖兆計。及兆入洛，執莊帝以北。神武聞之大驚。又使孫騰偽賀兆，因密覘孝莊所在，將劫以舉義，不果。乃以書喻之，言不宜執天子以受惡名於海內。兆不納，殺帝而與爾朱世隆等立長廣王曄。改元建明，封神武為平陽郡公。及費也頭紇豆陵步籓入秀容，逼晉陽，兆徵神武。神武將往，賀拔焉過兒請緩行以弊之。神武乃往逗留，辭以河無橋，不得渡。步籓軍盛，敗走。初，孝莊之誅爾朱榮，知其黨必有逆謀，乃密敕步籓，令襲其後。步籓既敗兆等，以兵勢日盛，兆又請救於神武。神武內圖兆，復慮步籓後之難除，乃與兆悉力破之，籓死。深德神武，誓為兄弟。時世隆、度律、彥伯共執朝政，天光據關右，兆據幷州。仲遠據東郡，各擁兵為暴，天下苦之。葛榮眾流入並、