人生有運，非可避也。但當明白當官，何所顧畏。”自是積二十餘年，位秩隆重，而進趨之心更復不息。又以東宮師傅之資，列辭尚書，志在封侯、儀同之位，尚書令、任城王澄為之奏聞。及為徵西、雍州，雖喜於外撫，尚以府號不優，心望加大，執政者頗怪之。於時，領軍於忠恃寵驕恣；崔光之徒，曲躬承奉。祚心惡之，乃遣子太尉從事中郎景尚說高陽王雍，令出忠為州。忠聞而大怒，矯詔殺祚，時年六十七。
祚達於政事。凡所經履，鹹為稱職；每有斷決，多為故事。名器既重，時望亦深，一朝非罪見害，遠近莫不惋惜。靈太后臨朝，遣使弔慰，追復伯爵。正光中，贈使持節、車騎將軍、儀同三司、雍州刺史，諡文貞公。
初，高祖之置中正，從容謂祚曰：“幷州中正，卿家故應推王瓊也。”祚退謂僚友曰：“瓊真偽今自未辨，我家何為減之？然主上直信李衝吹噓之說耳。”祚死後三歲而於忠死，鹹以祚為祟。
祚長子思恭，弱冠，州闢為主簿。早卒。思恭弟慶禮以第二子延伯繼。
延伯，襲祖爵東光伯。武定中，驃騎大將軍、將作大匠。齊受禪，爵例降。
思恭弟景尚，字思和。涉