不久後，文帝選拔了一幫高官子弟，想全部充作禁宮侍衛。
高熲跑過來說，如果皇上把強壯的人都選走了，東宮（太子宮）那邊恐怕就沒人可選了（高熲奏稱，若盡取強者，恐東宮宿衛太劣）。
楊堅很不高興：“我經常走動，侍衛不強壯不行。太子要那麼多強壯的人幹嘛？況且，父子都是一家人，分什麼皇宮，東宮？”
高熲真是多事！皇上自家的保鏢安排關你屁事？你倒是一心為太子著想，但你要犧牲皇上利益，楊堅他能高興嗎？能不懷疑你是###嗎（蓋疑高熲男尚勇女，形於此言，以防之也）？
高大人的所作所為，獨孤皇后瞭解的清清楚楚。她明白：此人不可能被言語說服，要廢掉太子，必須要先廢掉他（獨孤皇后知熲不可奪，陰欲去之）。
由於擔心楊堅不忍下手，皇后便尋找一切可能的機會向皇上吹枕邊風，以離間其君臣關係。
當她聽說高熲夫人去世的訊息時，立即心生一計，對皇上道：“高熲年紀大了，不能沒有夫人，皇上為何不替他再娶一個？”
皇后的心思，當然是想以續絃為名，在高熲身邊安個耳目。
皇上不明就裡，以為皇后一片好意，立即就找來高熲商量。
不料高熲卻痛哭流涕地說道：“臣年紀大了，退朝以後，唯有齋居唸佛聊以度日。至於續絃一事，感謝陛下關心，但實在對不起，臣現在沒這個心思。”（熲流涕謝曰：“臣今已老，退朝之後，唯齋居讀佛經而已。雖陛下垂哀之深，至於納室，非臣所願。”）
楊堅看高潁不樂意，也就不好再說什麼。
過了一段時間，高熲的愛妾生了一個男孩。皇上聽到訊息後非常高興，皇后卻非常不悅（至是，熲愛妾產男，上聞之極歡，後甚不悅）。
皇上覺得奇怪，就問皇后原因。
皇后答道：“上次皇上想為高熲續絃時，他不是說終日在齋居唸佛嗎？既然齋居唸佛，又怎會生下兒子？我看，他是因為喜歡小妾，當面對皇上撒了謊。您還能相信他嗎？”（後曰：“陛下當覆信高熲邪？始陛下欲為熲娶，熲心存愛妾，面欺陛下。今其詐已見，陛下安得信之！”）
“哎呀，可不是嘛！皇后不說，我差點忘了！”皇上立即由喜轉怒。
楊堅雖然雄才大略，但卻有兩個明顯缺點：一是偏信夫人之言，二是生性多疑猜忌。皇后的高論，產生了立竿見影的效果（上由是疏熲）。
又有一次，志在四方的隋文帝準備###高麗國。高熲認為時機不成熟而力諫不可。但皇上不僅沒聽從，還命他作為元帥長史，輔佐漢王楊諒（楊堅第五子）出征。
7、廢黜高熲（2）
這次安排跟上次伐陳時如出一轍，三軍名義的主帥是楊諒，但實際發號施令的卻是高熲（上以漢王年少，專委軍於熲）。
很遺憾，由於天氣惡劣和疫病流行，大軍最終無功而返。更糟糕的是，高熲因為心懷至公，辦事不避嫌，對楊諒的很多建議都沒有采納（大概高熲覺得楊諒的觀點比較幼稚），把這位名義上的主帥搞的很惱火（熲以任寄隆重，每懷至公，無自疑之意。諒所言多不用，甚銜之）。
回來後，楊諒便對獨孤皇后哭訴道：“孩兒差點就被高熲殺了。”（及還，諒泣言於後曰：“兒倖免高熲所殺。”）
皇后自然不會放過這個機會，立即加油添醋對皇上道：“高熲本來就不想去，只是迫於皇上壓力，才勉強為之。他心中有情緒，自然不能成功。你看看，你兒子已經被他整得顛三倒四了。”（後言於上曰：“熲初不欲行，陛下強遣之，妾固知其無功矣。”）
皇上勃然大怒，終於有了廢掉高熲的意思。
而接下來的王世積事件則為皇上提供了藉口。
王世積是朝廷另一重臣，時任涼州總管，官拜上柱國。當時，王世積一箇舊下屬因為有罪，想到王世積處避難，但未被接納。於是，該下屬便向皇上揭發，說王世積講過幾句想謀反的話。
楊堅立即把王世積抓了起來，進行審訊。在嚴刑拷打之下，王世積又招供，說高熲曾經告訴過他一些皇宮內的密聞（宮廷黃色笑話？）。如此一來，不光王世積被誅殺，高熲也因此被免職了。
以上過程見於正史記載。
但此事若深究起來，疑點不少：
其一、皇上怎麼會因為一個有罪之人的一面之辭（明顯是空口無憑），就輕易誅殺朝廷重臣呢？
其二、王世積有什麼必要要把高熲牽