以為放著好好的宰相不做，肯定有難以言喻的苦衷，肯定是不得已的，因此捏造了不少故事和流言來解釋他們自己心中的疑惑。如謂王安石歸山之後，一直希望再次起用，一次神宗派中使前來賜金，王安石初聞大喜，以為將再得用，後來發現只是賜金，於是氣急敗壞，乾脆賭氣不受，將黃金轉送寺院。又道神宗厭棄王安石，故八年不復召，臨終亦以司馬光託孤，不用王安石。還稱元豐改官制，王安石大吃一驚，認為如許大事不讓他知道，肯定是皇帝對他有怨氣，於是做詩歌頌元豐，以諂媚神宗，得全性命云云。
此類妄說既不知安石，又不明神宗，更不知二人相知之深、情誼之厚。王安石既然下決心歸隱山林，又怎麼會期待被再次起用？他要是依戀相位，又何必一再辭職？如果神宗厭棄王安石，又怎麼會一再遣使問候，終生恩遇不衰？以神宗與王安石相知之深，知道他這次是徹底下了決心，無論如何也不會再出來了，他又何必打擾一個退職的忠心耿耿的老臣，讓他不得安寧？元豐改官制，怎麼會跟一個退職的人商量，王安石豈是如此不明事理、氣量狹小的人？以王安石的個性，讓他諂媚皇帝、以求保身是不可想象的，以為神宗有意加害安石更是痴人說夢，造謠誣衊。
王安石以自己的忠心和誠意贏得了神宗的理解，使他得以未到耳順之年即悠遊林下，與猿鶴為伍，同山川為伴，自由自在地度過了最後的十年。