其可廢乎？”明確地表示反對。楊堅一時無語，只能按下話頭。獨孤伽羅知道要立楊廣為太子，就必須除掉高熲這個障礙。剛好高熲的妻子賀拔氏病死，獨孤伽羅經過精心策劃，故意讓楊堅出面，要為高熲續絃。高熲流淚致謝說：“臣今已老，退朝之後，唯齋居讀佛經而已。雖陛下垂哀之深，至於納室，非臣所願。”續絃一事就此作罷。事隔不久，高熲的愛妾生了個兒子。獨孤伽羅便對楊堅說：“陛下當覆信高熲邪？始陛下欲為熲娶，熲心存愛妾，面欺陛下。今其詐已見，陛下安得信之？”楊堅聽信獨孤伽羅的挑撥之言，從此開始疏遠高熲。
當時高熲全權負責對突厥的軍事，手握重兵，朝野中開始流傳說高熲有意謀反。楊堅得知後大怒，對高熲說：“朕不負公，公自負也。”高熲由此罷官，除名為民。當初高熲顯貴時，其母親曾告誡他說：“汝富貴已極，但有一斫頭耳，爾其慎之！”因此高熲一直非常謹慎，且為人謙遜，從不居功自傲。這次被免官後，高熲不怒反喜，以為得免於禍。
高熲罷官後，一切廢立太子的障礙都掃除了。開皇二十年（600年）十月，在獨孤伽羅、楊素、楊廣等人的陰謀策劃下，太子楊勇因“圖謀不軌”被廢為庶人。十一月，晉王楊廣被立為太子。
新立