搞定了李淵，他和李淵也結成了為共同利益而奮鬥的死黨。
但在起兵之前，必須擺平兩個人：太原副留守王威和高君雅。這兩個人是楊廣專門派來監視李淵的，別看楊廣向來昏庸，但IQ（智商）不低，他早看出李淵是個不甘寄人籬下的傢伙，就對他留了一手。
王威、高雅君不敢怠慢，當他們發現李淵暗自命令李世民、劉文靜、長孫順德和劉弘基等人招兵買馬的不法舉動後，就立即展開調查。不巧的是，他們首先找到的是武士彠，武士彠不禁暗笑：你們這哥倆可真缺心眼，找我瞭解情況算你們倒黴！於是，武士彠開始忽悠：“搞什麼搞啊？你們好歹也是李淵的下級，怎能這麼不信任他呢？這事要是被他知道了，你們該怎麼混啊？就此打住吧，否則吃虧的是你們，不是哥們我不告訴你們這些哦！”
武士彠三言兩語就把王威和高君雅這哥倆給忽悠了。不料，留守司兵田德平也起了疑心，他建議王威審查部隊募兵情況，武士彠覺得事情不妙，便去忽悠田德平：“我說你就別出這餿主意了，人家唐公是司令，王威、高君雅只不過是在他手底下幹活兒的，唐公都沒要求這樣做，他們查什麼查啊？就是查了又能怎樣呢？” 武士彠這一句話，就把田德平頂了回去。
趁此良機，李淵迅速募集兵力。為了壯大李淵的實力，武士彠不僅傾盡全部家當，還把自己的部屬和家門中有才幹的人，也拉進李淵的隊伍中，李淵對他感激不盡。
隋大業十三年五月，李淵在太原晉王祠起兵。起兵那天，他使用反間計殺掉了王威和高君雅，然後建大將軍府，大力提升有功之臣，其中把武士彠提升為鎧曹參軍，繼續負責武器裝備。七月，他率領起義部隊進攻長安。
這年十一月，李淵率部攻克了長安。但他並沒有立即稱帝，而是模仿曹操，挾楊廣之孫楊侑為隋恭帝，以令天下造反派。他這一招卻不好使，天下依舊大亂。
功成名就
隋大業十四年（618年）四月，隋朝右屯衛將軍宇文化及縊死了一代昏君楊廣。訊息傳來，李淵立即在長安稱帝，唐國號為唐，改元武德，他就是歷史上的唐高祖。
唐高祖統一全國後，下詔書加封14人為開國元勳，其中包括武士彠。李淵向武士彠兌現了他起兵前的承諾，他任命武士彠繼續掌管軍需，並授光祿大夫（官階名，從一品），加封義原郡公（爵位，正二品）。幾年之