那些只不過是晃人眼目的把戲而已，如何當真，況且常來一些用處也沒有。”
呆兒道：“不管有用無用，我只想學來，盼您教我。”
林逋知道這孩子秉性，如果不跟他說個清楚，他是定要堅持到底才罷，但他酒意甚重，只想睡覺，只好口中敷衍他明日便教他，那呆兒又重重磕了幾個頭，歡天喜地地去了。
林逋一夜好睡，直睡到這日巳時方才起身，他出門至外，只覺陽光耀眼，鳥語花香，精神一振，便想到山上高處打坐調息。門前正跪著一人，看時正是呆兒，見他過來，連忙說道：“先生好睡，請先生現在就來教我。”
林逋一愣，想了半晌方才想起夜裡的事情來，不由大是尷尬。眼見這呆兒在那裡直是跪了半宿，如何拒絕呢。又想這孩子如此痴呆，半點聰明心性也沒有，如何能做得了自己的弟子，一時躊躇不決，好不難過。正在這時夫妻二人走過來問安，見兒子跪在那裡不起，以為他做錯了事情，連忙都過來請罪。
林逋無奈，只好把事情說了。丈夫說道：“只怪我們兩人一時不查，倒累了先生，便請先生自便，孩子我們領了去一一跟他說明。”
夫妻二人便強領了呆兒回房，告訴兒子不過是先生一句戲言，不必當真，再說你如此魯鈍，如何能做得先生的弟子，不要痴心妄想。呆兒聽了父母的不住勸說，卻不信他們的話，只想先生乃是神仙一樣的人物，如何能夠對我虛言，嘴上不說，只在心裡更加堅決。
林逋自到山頂找個空曠處打坐，平日裡只過得片刻，心思便可寧靜下來，誰知今日直坐了一個時辰，心裡只是亂糟糟地，如同潮水，無法停歇。他知道今天難有結果，只好重新走下山來，哪知剛走得一二里，又見呆兒立在那裡等他，見他過來，撲通一聲跪在地上，只在那裡磕頭不止。林逋心裡不快，長嘆一聲，繞過呆兒自顧走下山去。
哪知這事情無法不了了之，接連一個多月，這孩子每日裡只在他門前跪了求師，其心之誠，其用之專，倒也讓林逋大為感動，但老祖當年再三囑咐於他，能傳其所修者必為當世第一等聰穎之人，坦蕩之人，光明之人，而這個孩子三分至誠、三分執拗，還有四分痴呆，沒有一條符合老祖的要求。這二十年林逋遊歷之時，能入眼者也不在少數，哪一個只怕都要比眼前這個孩子強上百倍。
夫妻二人眼見這孩子痴呆的脾氣上來，自己也鬧不過他，商量再三，只好跟林逋說了要帶著孩子離開，請先生再僱其餘人來幫忙看顧。林逋也可憐那孩子的執著，又喜歡夫妻夫人的勤快樸實，雅不願辭了他們，於是告訴二人自己在家已久，正要再出去遊歷，沒個三年兩載只怕回不得來，這樣長的時間空著，估計孩子的心思也就涼了。夫妻二人聽了，感激萬分，不住稱謝。
林逋第二日收拾停當，也沒通知一家三口人，飄然下山去了，以後幾日有朋友來訪，卻都撲空，只道林先生真乃最自由之人，這番說來便來，說走便走的瀟灑讓人好不羨慕。殊不知林逋的這次離開，實是不得已而為之，當真有倉皇之態了。