長華競。及其末年，人望猶存，思安懼亂，寄命推務。而甫自申述，徇小好名，既身囚胡虜，棄言非所。凡明德君子，遇會處際，寧可然乎？而世皆然之。益知名實之未定，弊風之未革也。”浩固辭不起。
建元初，庾冰兄弟及何充等相繼卒。簡文帝時在籓，始綜萬幾，衛將軍褚裒薦浩，徵為建武將軍、揚州刺史。浩上疏陳讓，並致箋於簡文，具自申敘。簡文答之曰：“屬當厄運，危弊理盡。誠賴時有其才，不復遠求版築。足下沈識淹長，思綜通練，起而明之，足以經濟。若復深存挹退，苟遂本懷，吾恐天下之事於此去矣，今紘領不振，晉網不綱，願蹈東海，復可得邪！由此言之，足下去就即是時之廢興，時之廢興則家國不異。足下弘思之，靜算之，亦將有以深鑑可否。望必廢本懷，率群情也。”浩頻陳讓，自三月至七月，乃受拜焉。
時桓溫既滅蜀，威勢轉振，朝廷憚之。簡文以浩有盛名，朝野推伏，故引為心膂，以抗於溫，於是與溫頗相疑貳。會遭父憂，去職，時以蔡謨攝揚州，以俟浩，服闋，徵為尚書僕射，不拜。復為建武將軍、揚州刺史，遂參綜朝權。潁川荀羨少有令聞，浩擢為義興、吳郡，以為羽翼。王羲之密說浩、羨，令與桓溫和同，不宜內構嫌隙，浩不從。
及石季龍死，胡中大亂，朝過欲遂蕩平關河，於是以浩為中軍將軍、假節、都督揚豫徐兗青五州軍事。浩既受命，以中原為己任，上疏北征許洛。將發，墜馬，時鹹惡之。既而以淮南太守陳逵、兗州刺史蔡裔為前鋒，安西將軍謝尚、北中郎將荀羨為督統，開江西田千餘頃，以為軍儲。師次壽陽，潛誘苻健大臣梁安、雷弱兒等，使殺健，許以關右之任。初，降人魏脫卒，其弟憬代領部曲。姚襄殺憬，以並其眾，浩大惡之，使龍驤將軍劉啟守譙，遷襄於梁。既而魏氏子弟往來壽陽，襄益猜懼。俄而襄部曲有欲歸浩者，襄殺之，浩於是謀誅襄。會苻健殺其大臣，健兄子眉自洛陽西奔，浩以為梁安事捷，意苻健已死，請進屯洛陽，修復園陵，使襄為前驅，冠軍將軍劉洽鎮鹿臺，建武將軍劉遁據倉垣，又求解揚州，專鎮洛陽，詔不許。浩既至許昌，會張遇反，謝尚又敗績，浩還壽陽。後復進軍，次山桑，而襄反，浩懼，棄輜重退保譙城，器械軍儲皆為襄所掠，士卒多亡叛。浩遣劉啟、王彬之擊襄于山桑，併為襄所殺。
桓溫素忌浩，及聞其敗，上疏罪浩曰：
案中軍將軍浩過蒙朝恩，叨竊非據，寵靈超卓，再司京輦，不能恭慎所任，恪居職次，而侵官離局，高下在心。前司徒臣謨執義履素，位居臺輔，師傅先帝，朝之元老，年登七十，以禮請退，雖臨軒固辭，不順恩旨，適足以明遜讓之風，弘優賢之禮。而浩虛生狡說，疑誤朝聽，獄之有司，將致大辟。自羯胡夭亡，群兇殄滅，而百姓塗炭，企遲拯接。浩受專征之重，無雪恥之志，坐自封植，妄生風塵，遂使寇仇稽誅，奸逆並起，華夏鼎沸，黎元殄悴。浩懼罪將及，不容於朝，外聲進討，內求苟免。出次壽陽，頓甲彌年，傾天府之資，竭五州之力，收合無賴，以自強衛，爵命無章，猜害罔顧。故範豐之屬反叛於芍陂，奇德、龍會作變於肘腋。羌帥姚襄率眾歸化，遣其母弟入質京邑，浩不能撫而用之，陰圖殺害，再遣剌客，為襄所覺。襄遂惶懼，用致逆命。生長亂階，自浩始也。復不能以時掃滅，縱放小豎，鼓行毒害，身狼狽于山桑，軍破碎於梁國，舟車焚燒，輜重覆沒。三軍積實，反以資寇，精甲利器，更為賊用。神怒人怨，眾之所棄，傾危之憂，將及社稷。臣所以忘寢屏營，啟處無地。夫率正顯義，所以致訓，明罰敕法，所以齊眾，伏願陛下上追唐堯放命之刑下鑑《春秋》無君之典。若聖上含弘，末忍誅殛，且宜遐棄，擯之荒裔。雖未足以塞山海之責，粗可以宣誡於將來矣。
竟坐廢為庶人，徙於東陽之信安縣。
浩少與溫齊名，而每心競。溫嘗問浩：“君何如我？”浩曰：“我與君周旋久，寧作我也。”溫既以雄豪自許，每輕浩，浩不之憚也。至是，溫語人曰：“少時吾與浩共騎竹馬，我棄去，浩輒取之，故當出我下也。”又謂郗超曰：“浩有德有言，向使作令僕，足以儀刑百揆，朝廷用違其才耳。”
浩雖被黜放，口無怨言，夷神委命，談詠不輟，雖家人不見其有流放之戚。但終日書空，作“咄咄怪事”四字而已。浩甥韓伯，浩素賞愛之，隨至徙所，經歲還都，浩送至渚側，詠曹顏遠詩云：“富貴他人合，貧賤親戚離。”因而泣下。後溫將以浩為尚書令，遺書告之，浩欣然許焉。將答書，慮有謬誤，開閉者數十，竟達空函，大忤溫意，由是遂絕。永和十二年卒。