口判。除秦州刺史，還都，吏人泣涕攀車，不能自已。徽車馬羸弊，皆京來舊物，見者莫不嘆其清儉。
改授度支尚書，兼吏部尚書，尋為正。徽以選舉法期在得人，限以停年，有乖舊體。但行之日久，難以頓革，以德同者盡年，勞等者進德，於時稱為中平。除侍中，餘官如故。徽表乞守一官。天下士子莫不嘆息，鹹曰：“城陽離選，貧者復何所希！”怨嗟之聲，俄然上徹。還令兼吏部尚書。累遷尚書令。
時靈太后專制，朝綱頹褫，徽既居寵任，無所匡弼。與鄭儼之徒，更相阿黨。外似柔謹，內多猜忌，睚眥之忿，必思報復，識者疾之。又不能防閒其妻於氏，遂與廣陽王深姦通。及深受任軍府，每有表啟，論徽罪過，雖涉誣毀，頗亦實焉。
莊帝踐阼，拜司州牧。尋除司徒，仍領牧。元顥之入洛，徽從莊帝北巡。及車駕還宮，以與謀之功，除侍中、大司馬、太尉公，加羽葆鼓吹，增邑通前二萬戶。徽表辭官封，前後屢上。徽為莊帝親待，內懼爾朱榮等，故有此辭。莊帝識其意，聽其辭封，不許讓官。徽後妻，莊帝舅女。侍中李彧，帝之姊婿。徽性佞媚