見孔子。孔子說：“回啊，《詩》中說‘不是犀牛也不是老虎，卻在曠野中徘徊’。難道我的學說不對嗎？我們為什麼會落到這種境地？”顏回說：“先生的學說極其博大，所以天下諸侯都不能容納，儘管如此，先生還是堅持不懈地推行自己的學說。不被容納又有什麼關係呢？正因為不被流俗所容納，所以才顯示出不苟且、不遷就的君子風範。不能研修和完善自己的學說，這才是我們的恥辱。博大精深的學說已經非常完備卻不被採用，這是國家統治者的恥辱。不被容納又有什麼關係呢？不被容納，更能顯示出不隨流俗的君子風範！”孔子高興地笑道：“是這樣啊，顏家的孩子！要是你有很多財產，我願意做你的管家。”
孔子於是派子貢前往楚國，楚昭王派軍隊迎接孔子，然後他們才得以脫身。
第三部分：堅忍周室衰微 禮樂廢壞
昭王打算把有戶籍登記的七百里土地封給孔子。楚國的令尹子西說：“大王派往諸侯國的使者有像子貢這樣的嗎？”楚王說：“沒有。”子西問：“大王的輔相有像顏回這樣的嗎？”楚王答：“沒有。”子西又問：“大王的將領有像子路這樣的嗎？”楚王說：“沒有。”子西又問：“大王的主管官員有像宰予這樣的嗎？”楚王說：“沒有。”子西說：“況且楚國的祖先受封於周朝，爵號只是子男，封地只有五十里。如今孔丘論述三皇五帝的治國之法，闡明周公、召公輔助周天子的功業，大王如果採用這些主張，那麼楚國又怎能保證世世代代統治方圓幾千裡的土地呢？想當年文王在豐，武王在鎬，從統治百里土地的君長最終稱王天下。如今孔丘要是擁有封地，再加上賢能弟子的輔佐，這對楚國來講不是好事。”昭王於是作罷。這年秋天，楚昭王在城父去世。
楚國裝瘋的賢士接輿唱著歌從孔子旁邊經過，說：“鳳凰啊鳳凰啊，你的德行為什麼如此不受重視！過去的已經無法挽回，但未來的還可以補救！算了算了，如今從政的人都很危險啊！”孔子下車，想跟他交談，他快步而去，沒能跟他交談。
於是孔子從楚國返回衛國。這一年，孔子六十三歲，正是魯哀公六年。
第二年，吳國和魯國在繒會盟，吳國向魯國索要一百套祭祀用的牲畜。吳國太宰伯召見季康子，季康子派子貢前往，然後吳國才放棄了無禮要求。
孔子說：“魯、衛兩國的政事，就像兄弟一樣相似。”當時，衛君輒的父親蒯聵不能繼位，在外地流亡，諸侯對此多次指責。而孔子的很多弟子都在衛國做官，衛君想讓孔子執掌政事。子路說：“衛君等著讓先生執政，先生將從哪裡先入手呢？”孔子說：“一定要先正名分。”子路說：“有這樣的嗎？先生太迂闊了！有什麼可正的呢？”孔子說：“魯莽啊，仲由！名分不正，說話就不順理；說話不順理，事情就辦不成；事情辦不成，禮樂制度就不可能興盛；禮樂制度不能興盛，刑罰就不能公平準確；刑罰不能公平準確，那麼老百姓就會手足無措。君子辦事一定要合乎名分，說出來的話一定要切實可行。君子對於自己所說的話，必須毫不苟且才行。”
又過了一年，冉有為季氏統率軍隊，與齊軍在郎地作戰，打敗了齊軍。季康子說：“先生的軍事才能，是學來的呢？還是天生的呢？”冉有說：“是從孔子那裡學來的。”季康子說：“孔子是怎麼樣的人呢？”
冉有回答說：“孔子辦事情有正當的名分，然後才向百姓傳播，即使在鬼神面前進行驗證也沒有什麼遺憾的。如果讓孔子像我一樣去打仗，即使封給他千社，他也不會動心的。”季康子說：“我想召他回來，可以嗎？”冉有回答說：“如果想召他回來，就不能讓小人從中阻礙他，這樣才可以。”這時衛國的孔文子想要攻打太叔，向孔子請教計策。孔子推辭說不知道，回去後就吩咐備車離開衛國，說：“鳥能選擇樹木棲息，樹木怎麼能選擇鳥呢？”孔文子竭力挽留他。正逢季康子派遺公華、公賓、公林，帶著厚禮前來迎接孔子，孔子這才返回魯國。
孔子離開魯國共計十四年才返回魯國。
魯哀公詢問孔子為政之道，孔子回答說：“治理政事的重點在於選擇大臣。”季康子憂慮盜賊，孔子說：“如果你自己沒有貪慾，那麼即使是給予獎賞也不會去偷盜。”然而魯國最終沒能重用孔子，孔子也不請求做官。
孔子生活的時期，周室衰微，禮樂廢壞，《詩》、《書》殘缺不全。孔子追溯夏、商、週三代的禮儀制度，重新編次《尚書》，上起唐堯、虞舜之際，下至秦穆公時期，按順序排列史事，說：“夏朝的禮制我還能講述，只是杞國沒有足夠