鎮定，風度優雅流暢，能寫一手漂亮的行書。東晉初年的不少名士如王導、桓彝都很器重他，少年時就有重名。
然而謝安並不想憑藉出身、名望去獵取*厚祿。東晉朝廷先是徵召他入司徒府，接著又任命他為佐著作郎，都被謝安以有病為藉囗推辭了。後來，拒絕應召的謝安乾脆隱居到會稽的東山，與王羲之、許詢、支道林等名士名僧頻繁交遊，出則漁弋山水，入則吟詠屬文，挾妓樂優遊山林，就是不願當官。當時擔任揚州刺史的庾冰仰慕謝安的名聲，幾次三番地命郡縣官吏催逼，謝安不得已，勉強赴召。僅隔一個多月，他又辭職回到了會稽。後來，朝廷又曾多次徵召，謝安仍然予以回絕。以此激起了不少大臣的不滿，接連上疏指責謝安，朝廷因此作出了對謝安禁錮終身的決定。
然而謝安卻不屑一顧，泰然處之。
謝安雖然屢屢不願出山，但當時計程車大夫卻都對他寄予很大的期望，以至時常有人說：安石不肯出，將如蒼生何？他的妻子劉氏是名士劉惔的妹妹，眼看謝氏家族中的謝尚、謝奕、謝萬等人一個個都位高權重，只有謝安隱退不出，曾對謝安說：夫君難道不應當像他們一樣嗎？謝安掩鼻答道：只怕難免吧。果然，昇平三年（>；359）發生的謝萬被廢黜事件，終於迫使謝安步入仕途。
謝萬字萬石，謝安的弟弟。他的器度不如謝安，卻也很有才氣，而且擅長自我炫耀，年紀輕輕就頗有名氣，仕途通達。昇平二年（358），謝安的哥哥謝奕去世，謝萬便被任命為西中郎將，監司、豫、冀、並四州諸軍事，兼任豫州刺史。然而他並不是統兵作戰的材料，在昇平三年十月受命北征時，仍然是一副名士派頭，只顧吟嘯歌詠自鳴清高，不知撫綏部眾。謝安對弟弟的做法非常憂慮，勸戒說：你身為元帥，理應經常交接諸將，以取悅部眾之心。像你這樣傲誕，怎麼能夠成事呢？謝萬於是召集諸將，想撫慰一番。不料這位平時滔滔不絕的清談家竟連一句撫慰的話都講不出，憋了半天，乾脆用手中的鐵如意指著在座的將領說：諸將都是勁卒。如此凌辱輕慢，不僅不能撫慰將領，反而使他們更加怨恨。謝安無奈，只得代替謝萬，對隊帥以下的將領一個個地親自拜訪，盡力加以撫慰，拜託他們盡力協助謝萬。但這並未能挽救謝萬失敗的命運。謝萬率軍增援洛陽，還未與敵軍交戰，手下士卒就驚擾奔潰。謝萬單騎狼狽逃還，軍士們本來要殺了他，看在謝安的份上才沒有動手。損兵折將的謝萬不久就被罷免為庶人。
謝奕病死，謝萬被廢，使謝氏家族的權勢受到了很大威脅。昇平四年（360），徵西大將軍桓溫邀請謝安擔任自己帳下的司馬，謝安接受了。這本來只是很尋常的事情，然而訊息傳出以後，竟然引起了朝野轟動。在他動身前往江陵的時候，許多朝士都趕來送行，中丞高崧挖苦說：卿屢次違背朝廷旨意，隱居東山不出，人們時常說：安石不肯出，將如蒼生何！如今蒼生又將如卿何！而謝安夷然毫不介意。桓溫得了謝安卻十分興奮，一次謝安告辭後，桓溫自豪地對手下人說道：你們以前見過我有這樣的客人嗎？
鹹安元年（371），對東晉朝廷來說，是十分關鍵的一年。權臣桓溫本想立功中原以提高自己的聲望，沒想到在枋頭一戰遭到慘敗。為了重立威名，他聽從郗超的建議，在鹹安元年廢黜了司馬奕，另立會稽王司馬昱為帝，是為簡文帝。此時的謝安已擔任了侍中，不久又升任為吏部尚書。他洞悉桓溫的野心，也知道簡文帝比被廢黜的司馬奕也強不了多少，只是清談的水平略高一些而已，但他仍然忠心匡扶朝廷，竭力不讓桓溫篡權的圖謀得逞。
鹹安二年（372），即位不到一年的簡文帝就在憂懼中死去，太子司馬曜即位，是為孝武帝。原來滿心期待著簡文帝臨終前會把皇位禪讓給自己的桓溫大失所望，便以進京祭奠簡文帝為由，於寧康元年（373）二月率軍來到建康城外，準備殺大臣以立成。他在新亭預先埋伏了兵士，下令召見謝安和王坦之。
當時，京城內人心惶惶，王坦之非常害怕，問謝安怎麼辦。謝安神情坦然地說：晉祚存亡，在此一行。王坦之硬著頭皮與謝安一起出城來到桓溫營帳，緊張得汗流浹背，把衣衫都沾溼了，手中的朝板也拿顛倒了。謝安卻從容不迫地就座，然後神色自若地對桓溫說：我聽說有道的諸侯設守在四方，明公何必在幕後埋伏士卒呢？桓溫只得尷尬地下令撤除了埋伏。由於謝安的機智和鎮定，桓溫始終沒敢對二人下手，不久就退回了姑孰。迫在眉睫的危機，被謝安從容化解了。
同年三月，桓溫得了重病。在返回姑孰之後，病情