末年，曾入為羽林郎，從中郎將張奐徵羌，得為軍司馬，轉戰有功，見前文。遷拜郎中，賜縑九千匹。卓慨然道：“我得敘功，全靠軍士。”乃將縑分賞軍士，一無所私。後來如何專欲自恣？嗣出任幷州刺史，轉為河東太守，至是奉詔為東中郎將，持節至廣宗軍營。軍中因盧植被拘，心懷不服，再加卓頤指氣使，滿面驕倨，越使軍心生貳，不願效勞；張角卻從城中突出，來攻董卓，卓麾兵與戰，兵皆退走，卓亦禁遏不住，只好返奔；卻被張角追至下曲陽，奪去許多輜重，滿載還城，留弟張寶屯守，與卓相拒。卓自知不敵，沒奈何上表乞師，靈帝嚴旨譴卓，勒令罷職，特遣皇甫嵩進兵討角。嵩正進剿東郡，生擒黃巾賊卜己，斬首七千餘級，蕩平郡境，既接朝廷詔命，移討張角，便兼程馳詣廣宗。角得了重病，不能起床，既善符水，何不自醫？但遣季弟梁出城迎戰。梁部下多系劇賊，且新得戰勝，氣焰甚張，嵩軍雖亦精銳，但兩下里旗鼓相當，接戰多時，兀自不分勝負；嵩鳴金收軍，退至十里外下寨，閉營休士，靜覘賊變。翌日令諜騎往探，見城外賊營如昨，惟眾心惶惶，似有大故，仔細偵查，才知張角已死。當即向嵩報知，嵩喜出望外，傳令軍士，三更造飯，五更攻賊，軍士依令部署，待至雞鳴，一擁齊出，由嵩親自督領，直抵賊陣；賊未肯讓步，出營廝殺，約莫戰到午後，賊黨漸漸疲乏，陣勢少亂，嵩急鳴戰鼓，驅兵向前，兵士各猛力齊進，衝破賊陣，東斫西剁，滾落許多賊頭。賊眾駭奔，張梁也欲逃回，偏被官軍殺至，不及回馬，拚著死命，左右遮攔，百忙中一著失手，已為官軍搠倒，從馬上跌落馬下，已經死去，再經兵刃交加，立成糜爛；只首級由快手割去尚是完全無缺，向嵩報功。嵩見張梁已死，乘勢搶城，城中賊奪門出走，又由嵩分兵追殺，趕至河濱，賊忙不擇路，齊投河中，河水方漲，湮沒了好幾萬人，嵩得入廣宗；見署中擺著棺木，料是張角屍骸，即令破棺戮屍，傳首京師；惟角弟寶尚駐守下曲陽，未曾伏誅，乃復邀同鉅鹿太守郭典，往擊張寶，連戰連捷，陣斬寶首，餘賊多降，差不多有十餘萬眾。事見《皇甫嵩傳》。羅氏《三國演義》謂寶由賊黨嚴政所殺，不知何據？三張並了，賊渠已殲，首功應推皇甫嵩，當由靈帝論功行賞，進嵩為左車騎將軍，領冀州牧，封槐裡侯。
嵩請減免冀州一年田租，暫蘇民困，有詔依議。百姓為嵩作歌道：“天下大亂兮市為墟，母不保子兮妻失夫，賴得皇甫兮復安居。”嵩在軍中，善能撫循士卒，故甚得眾心；及治理民政，恩威兼濟，莫不畏懷。獨有一前信都令閻忠，挾策干時，勸嵩入清君側，建立奇功，大略說是：昔韓信不忍一餐之遇，而棄三分之業，利劍已揚其喉，方發悔恨之嘆者，機失而謀乖也。今主上勢弱於劉項，將軍權重於淮陰，指撝足以振風雲，叱吒可以興雷電，赫然奮發，因危抵頹；崇恩以綏先附，振武以臨後服；徵冀方之士，動七州之眾，羽檄先馳於前，大軍響振於後，蹈流漳河，飲馬孟津，誅閹宦之罪，除群兇之積，雖僮兒可使奮拳以致力，女子可使褰裳以用命，況厲熊羆之卒，因迅風之勢哉？功業已就，天下已順，然後請呼上帝，示以天命，混齊六合，南面稱制，移寶器於將興，推亡漢於已墮，實神機之至會，風發之良時也。夫既朽不雕，衰世難佐，若欲輔難佐之朝，雕朽敗之木，是猶逆坂走丸，迎風縱棹，豈雲易哉？且今豎宦群居，同惡如市，上命不行，權歸近習，昏主之下，難以久居，不賞之功，讒人側目，如不早圖，後悔無及矣！議雖不經，卻是奇論。
嵩見了這種議論，未敢遽從，因召忠面語道：“嵩實庸才，不足與語此舉，且人未忘主，天不祐逆；若妄想大功，轉致速禍，不如委忠本朝，謹守臣節，就使遭讒，也不過放廢而止；死有令名，猶且不朽。如君所言，乃系反常，嵩不敢聞命！”嵩猶足為社稷臣，非操卓所得比。忠見計議不用，因即亡去。後來梁州賊王國等，劫忠為主，號為車騎將軍，忠感恚致疾，竟致畢命；這且擱過不提。且說鎮賊中郎將朱儁，往略南陽，南陽黃巾賊張曼成，屯眾宛下，約百餘日，為南陽新任太守秦頡擊斃。賊黨更推趙弘為帥，餘焰復盛，攻陷宛城，有眾十數萬。朱儁到了南陽，與太守秦頡，及荊州刺史徐璆，合兵萬八千人，圍攻趙弘，兩月不下。廷臣聞儁日久無功，奏請徵儁問罪，司空張溫進諫道：“古時秦用白起，燕任樂毅，並皆曠年曆歲，方得克敵；中郎將朱儁，前討潁川，已著功效，今引師南指，必有方略，將來自足平賊，臣聞臨軍易將，兵家所忌，何若寬假時日，責令成功？”靈帝乃止，但傳詔軍前，促令急攻。儁慷慨誓師，定期殲賊；可巧趙弘領眾出城