卻極為賞識這個姨甥，給黃庭堅寫信稱讚明誠。
具有諷刺意味的是，趙挺之以打擊“元佑黨人”當上宰相，到了大觀元年（1107年）三月，卻反遭到蔡京清算，以“力庇元佑奸黨”的罪名投入監牢。趙挺之氣憤難平，五日之後，就一命嗚呼。
趙家失勢，明誠在京師無法立足，就和清照一道，移居青州故里。清照喜愛陶淵明的《歸去來辭》，就把宅院命名為“歸來堂”，並依據“倚南窗以寄傲，審容膝之易安”兩句，自號“易安居士”。
在此後的十餘年裡，明誠撰《金石錄》，而清照“筆削其間”，“每獲一書，即同共勘校，整集籤題，“得書、畫、彝、鼎，亦摩玩舒捲，指摘疵病”。兩人晚上整理古書，摩玩彝鼎，怕影響休息，就以燃盡一支紅燭為限。
此外，兩人還在飯後烹茶背書，以決定飲茶先後。清照記憶絕佳，又爭強好勝，常常一口氣說出“某事在某書，某卷，第幾頁，第幾行”，明誠自愧弗如，只得讓清照先飲。清照得意極了，舉杯大笑，卻不料雙手一抖，茶水傾倒身上，反而不能飲茶，有些懊惱。兩人過著這種神仙眷屬的日子，“意會心謀，目往神授，樂在聲色狗馬之上”，其樂融融，“甘心老是鄉矣”。
政和四年（1114年）秋，清照三十一歲生日之際，明誠為《易安居士畫像》題字，字裡行間，盡見對愛妻的深厚情意 ：
“易安居士三十一歲之照。清麗其詞；端莊其品，歸去來兮，真堪偕隱。政和甲午新秋，德父題于歸來堂。”
但隨著官場的變動和時局的動盪，這種世外桃源式生活也被打破。宣和三年（112年）初，朝臣們大約又想起了明誠，於是，被遺忘在青州角落裡的明誠接到聖旨，出守萊州。清照在為丈夫整理行裝之際，想到這種耳鬢廝磨、沉湎書畫的日子即將結束，自己將要獨守空房，不禁憂從中來，離愁難遣，提筆�