已經有四十歲，玄宗還撫其背勉勵他：“卿貴在後，當大器晚成。”皇帝金口，馬上就升遷為大將軍、北平太守。天寶十一年，安祿山又推薦他為平盧節度都知兵馬使。
安祿山造反後，史思明一軍為先鋒，開始所向皆捷，攻陷饒陽諸郡。一直到天寶十五年初，他才在常山被李光弼、郭子儀合軍擊敗，逃至博陵。
本來叛軍就要被李光弼攻滅，忽然哥舒翰兵敗潼關的訊息傳來，李光弼回軍，史思明躡後追擊，大破唐軍劉正臣部。由於史思明所率兵士是安祿山叛軍的精銳的部分，他們乘勝進擊，攻撥常山、趙郡、河間，大破顏真卿部下和琳的一萬二唐兵。
接著，史思明又率部攻下清河。在信都，史思明又把老上司烏知義的兒子烏承恩包圍在城裡，掠其母、妻、兒子。不得已，烏承恩投降，史思明“與之把臂飲酒”。由此，可見他還念一些昔日的舊情。肅宗至德二年（公元757年），史思明包圍李光弼駐守的太原城，最後反被李光弼用“地道戰”打得大敗。當年十月，安祿山被兒子安慶緒等人殺死，史思明頓起自立之心。
鄴郡一戰，安慶緒困守孤城，史思明率十幾萬軍起來，大敗唐軍，進而又殺掉安慶緒，並統其眾。
混亂之際，史思明手下參謀耿仁智勸他向唐軍投降，由於當時形勢未明，史思明假裝答應。唐廷封史思明為歸義王、河北節度使。雖然假裝歸降，史思明“外示順命，內實通賊”，不斷招兵買馬，引起唐肅宗警覺。乾元元年（公元75