然而，自從尉遲熾繁被立為皇后後，事情開始起了微妙的變化——後宮流言紛起，不斷有謠言說楊堅有“不臣之心”，正在準備謀反。
大象二年（580年）五月初一，正好是尉遲熾繁立後二個月，宇文贇突然無事生非地要殺死楊麗華，誰也無法阻止。最終還是楊麗華的母親獨孤伽羅趕到。獨孤伽羅的大姐曾嫁北周明帝宇文毓為後，因此在輩份上，獨孤伽羅不但是宇文贇的岳母，還是宇文贇的伯母。她以雙重身份向宇文贇磕頭求情，額頭都磕出了血，宇文贇才勉強放過了楊麗華，但卻憤怒地威脅說：“終有一日，一定要族滅你們楊家！”並立即派人去召楊堅進宮，事先告訴左右，只要楊堅稍有異常，便立即就地斬殺。不料楊堅進宮後若無其事，宇文贇沒有理由下手加害，楊堅才算逃過一劫。
楊麗華事件被視為一個有力的訊號——楊堅名高位重，正遭到皇帝的嚴重猜忌。恐懼不已的楊堅為了自保，不得不想方設法地到地方任職，離開京師以避禍。他竭力巴結內史上大夫鄭譯。鄭譯是東宮舊人，與宇文贇一起玩樂長大，一直被皇帝視為心腹。此時，宇文贇打算派兵�