省臨漳西南鄴鎮）總管尉遲迥（北周文帝宇文恭外甥）恐楊堅專權對北周不利，公開起兵反對楊堅。史萬歲隨行軍總管梁士彥前往征討。軍至馮翊（今陝西大荔縣），有群雁飛來，史萬歲對梁士彥說：“請射行中第三者”（《隋書·史萬歲列傳》）。於是發弓射去，雁應弦而落。三軍見史萬歲射技如此高超，無不心悅誠服。軍至河北，與尉遲迥軍相遇，史萬歲每戰先登，勇冠三軍。鄴城（今河北省臨漳西南）之戰，官軍初戰不利，稍稍退卻，情勢十分危急，史萬歲大呼：“事急矣，吾當破之”（《隋書·史萬歲列傳》）。於是身先士卒，馳馬奮擊，連擊數十人。在眾人的協助政，官軍士氣復振，迅速扭轉了戰局。平叛後，史萬歲因功拜為上將軍。數年後，史萬歲因大將軍爾朱績謀反被殺而受牽連，發配敦煌（今甘肅敦煌西）為戍卒。敦煌戍主甚勇武，常單騎深入突厥掠取羊馬，突厥無論眾寡都莫之敢當。因此戍主頗自負，常辱罵史萬歲。史萬歲非常憂慮，於是自言也精於騎射。戍主令其馳射，見果有功底，笑著說：“小人定可”（《隋書·史萬歲列傳》）。史萬歲又單騎馳馬入突厥境內，奪取六畜而歸。戍主這才改變了對史萬歲的態度，常與他同行，深入突厥境數百里，名振北夷。時隋文帝為完成統一大業，正與突厥作戰。隋在抗禦突厥進攻的同時，已完成了反擊準備。隋開皇三年（583年）四月，隋軍發起全面反擊。隋文帝楊堅命秦州總管竇榮定率9總管、步騎兵3萬，由涼州（治今甘肅武威）道北擊突厥。五月二十四日，與突厥阿波可汗所部在高越原（今甘肅民勤西北）地區相拒。高越原地處沙漠地帶，乾枯無水。竇榮定軍刺馬血解渴；死者十分之二三。忽然遇雨，隋軍士氣大振。竇榮定乘勢揮軍奮力衝擊，多次挫敗阿波軍。史萬歲此時自投軍門請求報效，要求立功贖罪。竇榮定數聞其驍勇，便於二十五日派人向突厥提出：“士卒何罪過，令殺之，但當各遣一壯士決勝負耳”（《隋書·史萬歲列傳》）。阿波可汗應允，遂派一名騎將挑戰，竇榮定派萬歲出馬應戰，萬歲馳斬其將而還。突厥大驚，不敢再戰，即請議和而退。了因此被授上儀同，兼車騎將軍。隋開皇九年（589年），因參加隋滅陳之戰有功，加上開府。江南自東晉以來，世家士族一直欺壓寒門庶族。隋滅陳統一中國後，南方士族豪強因對隋實行的限制政策不滿，便利用民間對隋欲移民關中流言的驚恐心理，乘機煽動叛亂。隋開皇十年十一月，婺州（治今浙江金華）汪文進、越州（治今浙江紹興）高智慧、蘇州沈玄儈等均舉兵反隋，自稱天子，署置百官，起兵攻陷州縣，反亂大抵遍及原陳屬地。其規模大者數萬人，小者數千人，互相呼應，殘殺隋朝官吏。隋文帝楊堅命內史令楊素為行軍總管率軍平叛。楊素初敗高智慧後，即派史萬歲（時為行軍總管）率軍2000人進攻婺州，楊素則率主力由海道追擊逃入海中的高智慧，直趨溫州。史萬歲率軍從東陽（今浙江省中部金華江上游）別道而進，平定蔡道人、汪文進，翻嶺越海，轉戰千餘里，歷經700多次戰鬥，擊敗叛軍無數。史萬歲軍數十日杳無音信，遠近皆以為其部已全軍。由於水陸交通阻絕，信使不通，史萬歲只得置書信於竹筒之中，浮於水上，順流而下。有取水之人得到竹筒後，報告給楊素。楊素大喜，並上奏報於隋文帝。隋文帝接報後讚歎不已，賜史萬歲家錢十萬，官拜左領軍將軍。楊素軍也繼續追擊反隋散兵，抓獲高智慧，平定了叛亂。南寧州（治味縣，今雲南曲靖西）羌族首領爨翫於隋初接受招撫，被任命為昆州（治在今雲南昆明市西郊馬街附近）刺史，後又叛隋。隋開皇十七年（597年）二月，隋文帝史萬歲為行軍總管擊爨翫。史萬歲率部經蜻蛉川（今雲南大姚）、弄棟（今雲南姚安北）、小勃弄、大勃弄（二地均在今雲南下關東南），進入南寧州地區。爨翫依險固守，均被史萬歲擊破。隋軍行數百里，經過諸葛亮紀功碑，見其背刻銘文：“萬歲之後，勝我者過此”（《隋書·史萬歲列傳》）。史萬歲令左右將碑倒置，繼續向西挺進，渡西洱河（今雲南洱海），入渠濫川（位於雲南下關東北），轉戰千餘里，破西南羌族30餘部，俘2萬餘人，諸羌大懼，爨翫被迫再度請降。獻明珠寶物，表示願聽約束，並刻石勒銘，讚頌隋朝聖德。史萬歲遣使飛騎上奏，請將爨翫入朝，隋文帝準其所奏。但爨翫心懷二志，不想隨軍入朝，便以金寶賄賂史萬歲，於是史萬歲便放爨翫而還。當時蜀王楊秀正在益州（今四川省成都），知其受賄，派人索取。史萬歲聞知此事，將所得金寶全部沉於江底，楊秀無所獲，只得作罷。史萬歲以平定南方各部落之功，位進上柱國，又因與晉王楊廣友善，