顯聽說劉牢之叛變，桓玄已率大軍到了新亭，他急忙駐守國子學。桓軍到南桁後，司馬元顯又退守內城。桓玄軍追到後，齊聲大喊：“放下武器！”司馬元顯的軍隊都很聽話，全部扔下武器逃了。司馬元顯急忙跑回家，這時只有張法順一個人跟隨他，其他人全部跑光。司馬道子正喝醉了睡覺，聽說兵變了，只會坐在床上哭泣，什麼辦法也沒有。很快桓軍闖入，將三人拿下，押到新亭。桓玄命令把三個人綁在船頭，便要入京殺死皇帝自立。
卞範之阻止他說：“現在京城周圍帶兵的藩鎮將領還是比較強的，劉牢之也在統兵一方等著尋找咱們的不是。民心尚沒有厭棄晉朝，如果太快了會出危險。晉文公接納周襄王，結果使諸侯聽從他的命令；魏武帝挾持漢獻帝，天下群臣都得歸附。您不如學習他們兩個，也挾天子以令諸侯，不是很好麼？”
桓玄遂穿著朝服入朝。安帝雖是個白痴，但也驚訝地說道：“我沒有下詔，你怎麼來了？”桓玄道：“你左右都是獐頭鼠目之人，前後都是狼心狗肺之徒。既傷害朝綱，又暴虐百姓，我是來起兵為你誅殺佞臣的。不是害你的，你不要擔心！”
安帝又問：“誰是佞臣？你要如何處置？”
桓玄說司馬元顯父子、司馬尚之兄弟、張法順等人是佞臣。遂把司馬元顯、司馬尚之、張法順等人都殺了。司馬道子早已經成為不能視事的酒鬼，這次征伐桓玄並沒有司馬道子什麼事。桓玄表面上饒了他，但在把司馬道子送往安成郡的途中，還是派人把他毒死了。
在桓玄的安排下，安帝以桓玄為丞相、總掌百揆、都督中外諸軍事、錄尚書事、揚州牧，假黃鉞，劍履上殿，入朝不趨，贊奏不名。桓玄又以桓偉為荊州刺史，桓修為徐、兗二州刺史，其兄桓謙為尚書左僕射，卞範之為丹陽尹，而以劉牢之為會稽內史。從此，桓玄獨掌朝廷。但有沾親帶故，和桓玄七扭八拐能扯上關係的都來投奔他。比如新安太守殷仲文，他是殷仲堪的堂弟，得知桓玄掌握朝綱之後，便來投奔，桓玄遂給他一個諮議參軍的官做。就連當年罵過桓玄的劉邁，竟然也憑著這個關係前來投奔。桓玄覺得好笑，對他道：“你來做什麼？你不是找死麼？”
劉邁不慌不忙道：“射鉤斬祛，並邁為三。”射鉤是一個故事，春秋時齊國公子糾與小白爭做國君。管仲輔佐公子糾，所以用箭射小白，結果沒有射死小白，只射中小白的帶鉤。後來小白成為國君（即齊桓公），不計前仇，任管仲為相，遂為霸主；斬祛又是一個小故事，晉公子重耳（後來的晉文公）出逃到翟國，晉獻公派出寺人披追殺他，也沒殺死重耳，只是在重耳翻牆的時候斬下了重耳的衣袖。重耳後來也不計前仇，赦免了寺人披。重耳後來也成為霸主。劉邁的意思是你桓玄就是將來成霸業的人，我則是歷史上第三個被霸主原諒的人。這是一種很高階的拍馬屁方式。桓玄聽了非常高興，當即也給了劉邁一個參軍的官做。
劉牢之被桓玄任命為會稽內史。劉牢之一聽這個任命非常吃驚：“這不是要奪我兵權麼？看來大禍將至！”於是召開緊急軍情會議，商討征伐桓玄。參軍劉襲道：“人世間最不應當做的事那就是反。將軍先反了王兗州，後又反了司馬郎君，今天又要反桓公。像你這麼反來反去的人，根本沒有自立的根本！”說完話就走了。劉牢之手下的絕大部分將佐也紛紛離開了他。
劉牢之的軍隊就這樣垮掉了。他只好帶劉裕去投奔廣陵的高雅之。劉裕勸他說：“你去了廣陵也逃不出桓玄的手心啊。我呢，也要脫下戎裝，換上常服，回京口做老百姓了。”也告辭走了。何無忌問劉裕：“你們都走了，我該怎麼辦？”劉裕說：“我估摸劉鎮北一定不免一死，你可隨我一起回京口。”何無忌本是劉牢之的外甥，他猶豫了半天，最終還是告辭了劉牢之，也走了。
劉牢之這才開始害怕起來，帶著沒有將校只有士兵的軍隊向北撤退，等撤到新洲的時候，他計程車兵也跑得精光。劉牢之覺得自己太丟人了，太窩囊了，太愚蠢了，前途也很黯淡，未來沒有希望，就解下腰帶找了棵樹上吊死了。劉牢之無德無信無威，竟然也想爭天下做皇帝，結果下場很慘。
劉牢之的兒子劉敬宣不久趕來，他把父親的屍體裝殮後，送回丹徒老家。桓玄派軍隊趕到，劉敬宣來不及掩埋他的父親，匆匆渡江，北逃到廣陵，與高雅之、司馬休之一起投奔了南燕。桓玄命令劈開劉牢之的棺材，砍下首級，把屍體扔到野外曝屍。又到處懸賞捉拿劉牢之的黨羽，殺戮北府軍將領。輔國將軍袁虔之等北府將領逃往長安，投奔後秦。姚興任命袁虔之為大司農，並問他：“