。從祠太山，坐不敬免。俄而復位。帝謂群臣曰：“世人言蘇威詐清，家累金玉，此妄言也。然其性狠戾，不切世要，求名太甚，從己則悅，違之必怒，此其大病耳。”仁壽初，復拜尚書右僕射。帝幸仁壽宮，以威總留事。及帝還，御史奏威職事多不理。帝怒，詰責威。威謝，帝亦止。
煬帝嗣位，上將大起長城之役，威諫止之。高熲、賀若弼之誅也，威坐相連免官。歲餘，拜魯郡太守，修羽儀。召拜太常卿。從徵吐谷渾，進拜右光祿大夫。歲餘，復為納言，與左翊衛大將軍宇文述、黃門侍郎裴矩、御史大夫裴蘊、內史侍郎虞世基參掌朝政，時人稱為五貴。及徵遼東，以本官領右武衛大將軍，進位光祿大夫，賜爵房陵侯，尋進封房公。以年老乞骸骨，不許。復以本官參掌選事。明年，從徵遼東，領右御衛大將軍。
楊玄感之反，帝引威於帳中，懼見於色，謂曰：“此小兒聰明，得不為患邪？”威曰：“粗疏非聰明者，必無慮，但恐浸成亂階耳。”威見勞役不已，百姓思亂，以此微欲諷帝。帝竟不悟。
從還，至涿郡，詔威安撫關中，以其孫尚輦直長儇副。威子鴻臚少卿夔先為關中簡黜大使。一家三人，俱使關右，三輔榮之。歲餘�