丁役，今皆無著，豈不是盡化為盜了。”煬帝道：“區區小賊，尚不足慮。只是高麗王高亢，至今尚不入朝，真是令朕可恨！”蘇威又答道：“高麗在外，盜賊在內，依臣愚見，外不足恨，內實可憂。聖上在雁門關的時候，曾許罷免東征，今若復欲徵發天下的百姓，相率為盜的人更要增加了！”煬帝聽了蘇威的話，不禁勃然變色，拂袖退朝。
從來忠奸異途，常相水火。蘇威從此失了帝歡，便有人譖言獻媚。這天節屆天中，百官都進珍玩，蘇威卻獨獻《尚書》一部，御史大夫裴縕即對煬帝道：“《尚書》有五子之歌，蘇威實有意謗上！”煬帝正不解蘇威的用意，聽了裴縕的話，當然懷恨在心。隔了一天，煬帝又議伐高麗，群臣莫敢進諫，蘇威偏又奏道：“聖上欲討高麗，何必發兵。但赦免各處盜賊，便可得數百萬人，飭令東征，必能立功贖罪，平服了高麗！”
他的一番諷言勸諫，原冀煬帝警悟，哪知煬帝面現慍色，不去