，不料他的兄長宇文忻與人密謀造反，被人告發，他雖與此事無關，但受了連累，丟官棄爵，成為一個白丁。
這樣的一個人雖然有才，但心思不拿不準，讓他為自己修建行宮，楊堅是不放心的。
楊素聽完，回道：“陛下既然將這行宮交予臣來營建，無論誰為將作大匠，出了事情都是要臣來負責的。”
楊堅聽罷，心想著也是，若有什麼不恰當的地方，楊素第一個擋在前面挨刀。既然這樣，最應該擔心這宇文愷的是否有異心的應是楊素才對。
況且，剛剛他與高熲將楊素逼得太狠，若此時 連讓他用自己的人都不應允話，那實在也是太過分了。
楊堅笑了笑，回道：“既是如此，便允卿所奏，不日朕便詔於天下，卿只管安心行事即可。”
楊素心中暗暗嘆著氣，只好道：“臣遵旨！”
這行宮離大興城有四百多里，他是不可能一天一個來回地跑的，一旦他開始把心思都用在營建行宮這件事兒上，他勢必會長時間離開大興城，而留在岐州。
這麼一樣，這個尚書右僕射，怕是當不了多久了。
這楊堅和高熲，是想著法子把自己趕出尚書省啊！
此時，他突然想起了蘇威的兒子蘇夔。
那個蘇威雖然是自己的對頭，但那個兒子倒像是個通透的。自他從外面散心回來之後，常常與楊玄感宴樂飲酒，對他也絲毫沒有怨懟之色。
有一次竟然說道：他父親與他楊素一樣，不過是皇權之下的螻蟻罷了。