述為揚州刺史，將就徵，周行郡界，而不過羲之，臨發，一別而去。先是，羲之常謂賓友曰：“懷祖正當作尚書耳，投老可得僕射。更求會稽，便自邈然。”及述蒙顯授，羲之恥為之下，遣使詣朝廷，求分會稽為越州。行人失辭，大為時賢所笑。既而內懷愧嘆，謂其諸子曰：“吾不減懷祖，而位遇懸邈，當由汝等不及坦之故邪！”述後檢察會稽郡，辯其刑政，主者疲於簡對。羲之深恥之，遂稱病去郡，於父母墓前自誓曰：“維永和十一年三月癸卯朔，九日辛亥，小子羲之敢告二尊之靈。羲之不天，夙遭閔凶，不蒙過庭之訓。母兄鞠育，得漸庶幾，遂因人乏，蒙國寵榮。進無忠孝之節，退違推賢之義，每仰詠老氏、周任之誡，常恐死亡無日，憂及宗祀，豈在微身而已！是用寤寐永嘆，若墜深谷。止足之分，定之於今。謹以今月吉辰肆筵設席，稽顙歸誠，告誓先靈。自今之後，敢渝此心，貪冒苟進，是有無尊之心而不子也。子而不子，天地所不覆載，名教所不得容。信誓之誠，有如皦日！”
羲之既去官，與東土人士盡山水之遊，弋釣為娛。又與道士許邁共修服食，採藥石不遠千里，遍遊東中諸郡，窮諸名山，泛滄海，嘆曰：“我卒當以