他和楊一清等也沒想到，時隔不久，傳來的竟是陽明客死南安的訊息。他們心頭的滋味是複雜的，既有如釋重負的輕快，也有隨之而來的空虛。桂萼說，我要參他擅離職守、江西軍功濫冒。楊一清說，即使他還活著，我也要說服聖上查禁他的新學。若不查禁，大明江山非亡在這些異端邪說上不可。他們提議開會，清洗之。
其實，他們倒王的真正動力在於與張璁的矛盾。張援陽明入閣，以分楊、桂之勢；楊、桂便來個先剪除新患再去舊病，唆使錦衣衛聶能遷奏陽明用金銀百萬透過黃綰送給了張璁，張璁才推薦陽明去兩廣。張璁、黃綰也不吃素，起而抗擊。結果是聶能遷在錦衣衛的監獄活活被打死。皇帝也沒別的高招，便用掛起來的老辦法。按說應該頒發恩蔭贈諡諸典禮，現在卻什麼也沒有。嘉靖忘了他當初為了讓陽明去兩廣，說了那些誇獎陽明的話－－魯迅說流氓的特徵就是沒標準。皇帝一沒標準，大臣就更沒標準了－－宮廷成了唱大戲的舞臺，後來他們之間互有勝負的鬥了幾個回合，忽而張、桂去職；忽而一清落馬。反正一天也不能閒著。
陽明的沉浮，從一開始，真正的導演就是上層的這種權力鬥爭。平定江西后，張、楊同具揭帖，桂個人單具揭帖