實權的魯國貴族們對他失望而被罷免，正如柏拉圖被西那庫斯的暴君戴奧尼夏罷免一樣。後來他辭職，離開他的祖國到外國（城邦）周遊，共歷十四年之久。像柏拉圖一樣，他想再度從政，但失敗了，因為在他心中有他的革命理想，且相信只要他有機會，他知道怎樣使它實現。這個失敗的時期，同時也是孔子成就最高的時期。他常陷入困難中，為人嘲笑拒絕，數次被逮捕及攔劫，但他卻始終保持溫良恭儉讓的態度，有一位偉大的學者曾指這一點為他性格中最感人的一面。因為在這個時期，他顯示出他的真正力量。沒有一個國君願意認真接待他或授給他權柄，門徒們都灰心失望，但孔子仍樂天安命。當他被逮捕或拘留時，他習慣於唱詩或朗誦而且自彈一種樂器來伴奏。他繼續研究歷史。經過了多年的浪遊之後，最後回到他的祖國，當時他的幾個門徒都已在政府做事。因此他以一個“大老”——官吏老師的身份回鄉，在他七十二歲那年去世。就在他生命中最後的四、五年裡，他著手做最偉大的工作，專心編輯古代的作品，寫下他一生對歷史的研究。這些書留傳下來，就是儒家的五經。
新儒學的清教徒們總是嘗試把孔子描繪成一個拘執小節、具有尊嚴的聖人。他們把他弄成一個缺乏人味的完美的聖人。事實上孔子是他那時候的塞繆爾·約翰生博士，最怕受人尊敬。根據論語的記載，他曾做過幾件使那些正統批評家駭異的事。那些正統家驚呼：“一個聖人一定不會做這樣的事，這些經文顯然是後人竄入的。大哉孔子！”我只要提及一個記載在論語的事例。孔子對那些佞人及偽善者的反感就像耶穌對法利賽人一樣。一天，有一位這類的學者來見孔子。孔子吩咐僕人告訴那位來訪者他不在。然後為想表示他對這個叫做孺悲的人深惡痛絕，做了一件很無禮的事。當那個來訪者仍在門口的時候，他拿起他的絃樂器來唱歌，“使之聞之”。孔子曾一再地說，“鄉愿，德之賊也。”“過我門而不入我室，我不憾焉者，其惟鄉愿乎。”有一次他描寫當時從政者為“斗筲之人”，又有一次他真的拿起一根仗去打一個他非常不喜歡的人的脛，且叫他做“賊”。這是孔子禮貌的標準。
這個人是像一塊石頭一樣堅強，生而有不竭的精力，能忍受工作上極大的緊張，他說自己是“發憤忘食，樂以忘憂，不知老之將至。”他善感而且多情。孔子家語記載說：“孔子適衛，遇舊館人之喪。入而哭之，哀。出，使子貢脫驂以贈之。子貢曰：‘於所識之喪，不能有所贈，贈於舊館，不已多乎。’孔子曰：‘吾向入哭之，遇一哀而出涕，吾惡夫涕，而無以將之。小子行焉’”可見他對心腹弟子友善而溫柔。他寫了一本書春秋，是當時統治者們的可怕的標準尺，他說：“知我者其惟春秋乎，罪我者其惟春秋乎。”春秋在統治階級的圈子裡面引起了很大的激動，因為他對篡位者做了嚴厲的裁判。在這樣的一個環境中，當一個人和他的時代不能協調時，孔子顯示出一種堅強不屈及對自己可笑處境保持幽默感的混合性格。當他們周遊列國時，孔子和弟子們被某一小城的官吏拘留，甚至絕糧數天，他們因此實際上陷於飢餓，經過了數天之後，他的許多跟隨者都餓得不能起來，但孔子仍繼續奏絃樂自娛。
〖子路慍，見曰：“君子亦有窮乎？”
子曰：“君子固窮，小人窮斯濫矣。”〗
孔子知道弟子們的心中有憤憤不平之感，於是他把子路召入。
〖子曰：“詩云：‘匪兕匪虎，率彼曠野。’吾道非乎？奚為至於此？”
子路愧而對曰：“君子無所困。意者夫子未仁與？人之弗吾信也；意者夫子未智與？人之弗吾行也。且由也昔者聞之夫子：為善者天報之以福；為不善者天報之以禍，今夫子積德懷義，行之久矣，奚居之窮也？”
子曰：“由，未之識也。吾語汝。汝以仁者為必信也，則伯夷叔齊不餓死首陽；汝以智者為必用也，則王子比干不見剖心；汝以忠者為必報也，則關龍逢不見刑；汝以諫者為必聽也，則伍子胥不見殺。夫遇不遇者時也；賢不肖者才也。君子博學深謀而不遇時者眾矣，何獨丘哉？且芝蘭生於深林，不以無人而不芳。君子修道立德，不謂窮困而改節。為之者人也，生死者命也。是以普重耳之有霸心生於曹衛，越王勾踐之有霸心生於會稽。故居下而無憂者，則思不遠，處身而常逸者則志不廣。庸知其終始乎？”
子路出，召子貢。告如子路。
子貢曰：“夫子之道至大，故天下莫能容夫子。夫子盍少貶焉。”
子曰：“賜，良農能稼不必能穡，良弓能巧不能為順，君子能