安少有盛名，時多愛慕。鄉人有罷中宿縣者，還詣安。安問其歸資，答曰：“有蒲葵扇五萬。”安乃取其中者捉之，京師士庶競市，價增數倍。安本能為洛下書生詠，有鼻疾，故其音濁，名流愛其詠而弗能及，或手掩鼻以斅之。及至新城，築埭於城北，後人追思之，名為召伯埭。
羊曇者，太山人，知名士也，為安所愛重。安薨後，輟樂彌年，行不由西州路。嘗因石頭大醉，扶路唱樂，不覺至州門。左右白曰：“此西州門。”曇悲感不已，以馬策扣扉，誦曹子建詩曰：“生存華屋處，零落歸山丘。”慟哭而去。
安有二子：瑤、琰。瑤襲爵，官至琅邪王友，早卒。子該嗣，終東陽太守。無子，弟光祿勳模以子承伯嗣，有罪，國除。劉裕以安勳德濟世，特更封該弟澹為柴桑侯，邑千戶，奉安祀。澹少歷顯位，桓玄篡位，以澹兼太尉，與王謐俱齎冊到姑孰。元熙中，為光祿大夫，復兼太保，持節奉冊禪宋。
琰字瑗度。弱冠以貞幹稱，美風姿。與從兄護軍淡雖比居，不往來，宗中子弟惟與才令者數人相接。拜著作郎，轉秘書丞，累遷散騎常