空，當有摩雲的志向，不妨小名叫作阿摩。
楊廣暗中與心腹宇文述等人密謀奪嫡。他先以重金結交賄賂大理少卿楊約，再透過楊約結交其兄楊素，獲得楊素的暗中支援。又收買東宮倖臣姬威等人以為內應。晉王楊廣正在暗地進行推翻太子的計劃。而太子醉生夢死，絲毫不加防備，依舊和一般宵小混在一起。
獨孤後雖欲將晉王立為太子，但楊堅因一時太子楊勇沒有犯大的過錯，心中雖欲立晉王，卻不好實行。這時晉王楊廣調鎮揚州，不到半年便表請入覲。楊廣回朝後，表現得慎言莊容，端肅安詳。他對於一般朝臣格外謙和，恭而有禮。宮廷內外，都同聲說他的好。
到了辭行還鎮的那天，楊廣入宮別母，見了獨孤皇后，他依在獨孤後的膝下，泣訴道：“臣兒生性愚蠢，向來不知忌諱，時常懷念雙親，所以未及二旬，遞即上表請朝。原思一見父皇與母后，藉聆慈訓，哪知觸忌了長兄。”
獨孤後聽到楊廣提及太子楊勇，便問：“他敢怎麼樣？”楊廣惶恐說：“他竟疑忌臣兒，謂兒覬覦名器，意欲加害，臣兒因此惶恐。臣兒遠列外藩，東宮日侍左右，讒惑見加，皇父容或難辨。一旦賜臣尺帛或給杯鴆，臣兒實不知身死何所。恐從此一別，便不能再見慈顏了。”晉王說著便涕淚縱橫，嗚咽不止。
獨孤後憤然道：“我為他娶元氏女，竟不以夫婦禮待之，元氏女向來身體健全，竟會一旦暴亡，他卻毫不悲傷，反與妖姬雲氏淫樂。我也疑惑元氏被他所害，只是暫時容忍。現在他卻越發狂妄！竟想加害你，我活著他已是如此，往後真不堪設想了。”獨孤後說著已泫然泣下。
楊廣佯作勸慰：“臣兒自是不肖，未能感化長兄，反使母后因此傷感，豈不是增臣兒罪戾！”獨孤後安慰一番，叫他安心回去，非密詔不可進京；不得輕過東宮。晉王心中暗喜，從此獨孤後廢楊勇的心腸更堅決了。
積毀成山，三人成虎。楊素與獨孤後異口同聲地說太子失德，內外交讒，楊堅便動了廢立的主意。宮廷內外，都知了廢立的訊息，傳到東宮，楊勇才開始著慌。他引入巫覡，做了種種厭禳術。這個訊息，又被人探聽了去，報告了獨孤皇后，當晚楊堅也知道了，命楊素到東宮探看虛實。
楊素本是楊廣的人，他到了東宮，楊勇慌忙更換好了衣冠。哪知楊素故意東看一回花草，西看一回亭臺，只是挨延不去。楊勇等候了多時，不禁著惱起來，待到楊素徐行入見，楊勇怒形於色說：“公姍姍來遲，究屬何意？聖上雖欲將我廢立，此時究竟尚未實行，你莫自恃功高，便不把我放在眼裡。”楊素佯作失驚道：“老臣該死，進了園中，一因年邁，腳步遲了些；二因貪看了園中景色，因此有勞殿下久候。還念老朽可憐，恕罪一遭。”楊勇冷笑：“說得倒好，你來此做什麼？”楊素又假意微嘆說：“聖上不知聽信了誰的讒言，意欲廢立東宮。老臣素知殿下，仁德無虧，今日特來安慰殿下的。”楊勇聽了，以為楊素真心好意，不免言語之中，露出怨憤。楊素聽在耳中，回到宮裡，見了楊堅，便一一說了出來。楊堅大怒，便在成德殿上，召集了百官宣詔廢楊勇。過了數日，即立晉王楊廣為太子。
後來，有一天大雪狂風，天氣陰沉，被囚禁的楊勇爬上東宮院子裡的大樹，在風雪中向文帝的方向大聲訴說自己的冤情，正巧文帝走出宮殿，聽到了他的聲音，問身邊的楊素：“這是勇兒的聲音，他在喊些什麼？”楊素冷淡地答道：“前皇太子瘋了，請陛下不用過慮。”
三兒子楊俊，也喜歡奢侈，貪戀女色，放高利貸剝削百姓。妻子為了報復他的冷落，在他吃的瓜中放了藥，使楊俊得了病，後來又被父親免官，後來，楊俊病死。
四兒子楊秀，不但奢侈，還總想效仿父親，想著將來做皇帝。他的失敗在於太顯露，培植勢力，編謠言為以後做皇帝造輿論。結果被哥哥楊廣暗算，楊廣唆使父親把他調到了長安，然後尋找藉口，強加罪名，楊堅在死前把他也廢為庶人，即平民。
小兒子是楊諒，他在外地任職，也在積蓄力量，想以後爭奪皇位。楊堅死時，他沒有奔喪，而是起兵直奔京城，但很快被打敗，做了俘虜。
楊堅年老，禁不起每日床笫聲色，不久染病在床。他病重時讓楊廣等人進宮侍奉，臨死時的楊堅終於看清了這個兒子的真面目，但也晚了。604年7月，他因為病重，臥於長安仁壽宮大寶殿內，楊廣認為登上皇位的時機已到，於是迫不及待地寫信給楊素，請教怎樣處理將要到來的文帝后事。不料送信人誤將楊素的回信送給了文帝。文帝讀後大怒，此時，宣華