萬縷，淚若江潮，因而發出了軒冕不足樂、終欲老漁樵的感慨。大概是從父兄雖然學問卓越、志節高尚，卻窮老仕途、英年早逝的慘淡經歷中受到了觸動，引發了他潛藏於心中的歸老田園、漁樵為生的意願。然老子騎牛圖（明）張路繪隱士而，他也只能借詩抒懷，不能付諸於實際。
王安石又有《池雁》一詩，其中寫道：“羽毛催落向人愁，當食哀鳴似有求。萬里衡陽冬欲暖，失身元為稻粱謀。”這首詩更是明白地表達了“失身元為稻粱謀”的苦悶，直以仕宦為“失身”，表明他對官場黑暗的厭惡和對鄉間生活的嚮往。
王安石對於是仕是隱皆不得自由，為此徘徊矛盾的心境在他的《兩馬齒俱壯》一詩中有所體現：
兩馬齒俱壯，自驕千里材。生姿何軒軒，或是龍之媒。
一馬立長衢，顧影方徘徊；一馬裂銜轡，奔嘶逸風雷。
立豈飽芻豆，戀棧常思回？奔豈欲野齕，久羈羨駑駘？
兩馬不同調，各為世所猜。問之不能言，使我心悠哉。
兩馬其實代表了賢士的兩種生活方式，一是在朝為官，安分守己，謹受約束，一是自由自在，退居鄉野，如天馬行空，獨往獨來。在朝則為國盡忠，在野則任性自適，二者都是正當的選擇，無可無不可。然而時人不能理解賢者用心，造作謗言，是以賢者在朝，忠於王事，則有戀棧貪祿之譏；高材在野，任性逍遙，卻有不服約束、甘心自棄之諷。因而賢者無論進退仕隱，都要受到世人的譏議，因為這些人不能到達賢者的境界，自然無法理解賢者的內心，總是以己度人，視騏驥為駑駘，目聖賢為庸祿。
王安石還以二馬自況，當他欲任職地方時便有人看他不順眼，以為他是想擺脫束縛的野馬；當他立身朝堂時又有人諷刺他固位貪權。在這種情況下，他依然故我，堅持按照自己的原則行事，不管流俗的懷疑與猜忌。
在王安石的心目中，無論是仕是隱，都應當合乎道義，仕與隱本身並無高下之分。英宗之世，他在江寧守制，數年被召不出，許多人認為他是因為輕富貴、重隱逸而不願出仕，因而在他應召入朝為翰林學士時，他的老友王介便做詩予以嘲諷，王安石對此一笑置之，以《松間》一詩還擊：
偶向松間覓舊題，野人休誦北山移。
丈夫出處非無意，猿鶴從來不自知。
李壁在這首詩的註解中指出：“《石林詩話》雲：王介，字中甫，衢州人，與荊公遊，甚款，然未嘗降意相下。熙寧初，荊公以翰林學士被召，前此屢召不起，至是始受命。介以詩寄公雲：‘草廬三顧動春蟄，蕙帳一空生曉寒。’蓋有所諷。公得之大笑，他日做詩，有‘丈夫出處非無意’之句，蓋為介發也。”
南齊孔稚珪作《北山移文》，諷刺不守隱士之節、出來做官的隱士周顒，其中有“蕙帳空兮夜鶴怨，山人去兮曉猿驚”之語，王介以此典故及諸葛亮為劉備三顧茅廬感動而出山的故事，暗譏王安石為富貴所動，不能復守隱逸之士的志節。王安石則道自己就沒有終老松間、一生隱逸之意，不想以隱士自居，故人何必以《北山移文》相譏？男子漢大丈夫，是要按照道義和自己的意願行事，其志向不是猿鶴之輩所能知的。這裡王安石也對王介進行了嘲諷，笑他見識不足，燕雀安知鴻鵠之志，不過二人是好友，雖然相互嘲弄，卻都是善意的，不會為此傷了和氣。
出入自在（2）
王安石主張有所作為，有兼濟天下之志，他並不想只是獨善其身，因而對於傳統的重隱逸而輕仕進的做法表示反對。他有《祿隱》一文具體表達了這一思想。舊說孔子“高餓顯而下祿隱”，故而將伯夷、叔齊排在柳下惠的前面，道是伯夷、叔齊不降其志、不辱其身，柳下惠則降志辱身，這也是孟子和揚雄的看法。王安石則不以為然，他認為“聖人之所言高者，是所取於人而所行於己者也；所言下者，是所非於人而所棄於己者也”，按照這一標準，則孔子、孟子應當依照他們所讚賞的“餓顯”的方式行事，而其實不然。“孔孟生於可避之世而未嘗避也”，揚雄則屈身為王莽之臣，這難道是由於聖人能言而不能行嗎？顯然不是。而是由於“聖賢之言行，有所同，而有所不必同，不可以一端求也。同者道也，不同者跡也”。聖賢道同而跡不同，“餓顯”與“祿隱”都屬於跡，無所謂高下。聖賢都是通乎權變、無繫累於跡的大過於人者，“聖者，知權之大者；賢者，知權之小者也”，因而殷代的三位仁者，其跡不同，微子去之，箕子為之奴，比干諫而死，而其道則一。《易》曰：“或出或處，或默或語。”是說聖