地聽妻子的嘮叨。他笑稱：“怎樣做個好丈夫？就是太太在喜歡的時候，你跟著她喜歡，可是太太生氣的時候，你不要跟著她生氣。”
當時的文化名人大多拋棄了髮妻，另找時髦的知識女性。林語堂成名以後，廖翠鳳擔心他也會喜新厭舊。林安慰她：“鳳啊，你放心，我才不要什麼才女為妻，我要的是賢妻良母，你就是。”他很討厭矯揉造作、故作嬌弱的女性。一次看見當時的紅明星林黛，林說：“東方美麗的標準是板面、無胸、無臀、無趾的動物——一個無曲線的神偶，我要拿她來做木工的神尺。”
林語堂對女人愛穿著打扮，表現得很大度，他知道太太講究穿鞋，每次經過鞋店，總是鼓勵太太進去選購，自己則帶著孩子打發時間。
林語堂對朋友說：“我像個氫氣球，要不是鳳拉住，我不知道要飄到哪裡去！”廖翠鳳也點頭說：“要不是我拉住他，他不知道要飄到哪裡去！”
1969年，林語堂和廖翠鳳結婚半個世紀，親朋好友為他們舉辦了盛大的金婚紀念晚會。林送給廖一個手鐲，說是為了表彰她這麼多年來堅定不移守護著家，以及多次的自我犧牲。廖翠鳳想起結婚伊始，林語堂撕婚書時的堅決，百感交集。手鐲上刻著林翻譯的雪萊的《老情人》（An Old Sweet heart）：“同心如牽掛，一縷情依依，歲月如梭逝，銀絲鬢已稀，幽冥倘異路，仙府應悽悽，若欲開口笑，除非相見時。”
林語堂過世後，廖翠鳳一直住在香港小女兒家中，用心整理出《京華煙雲》和《林語堂當代漢英辭典》等鉅著的手稿，存放在臺灣的故宮博物院，直到1985年陽明山故居原址改為“林語堂先生紀念圖書館”，這些著作和遺物才捐給臺北市政府供公開展示。1987年，廖翠鳳於香港去世。
【恩怨】
林語堂一生和兩位好友反目，一是魯迅，一是美國作家賽珍珠。
林語堂和魯迅因在女師大任教而結識，在“女師大事件”發生後的1925年12月5日，魯迅主動給林寫信，開始了二人的交往。林後來公開表示，當時北大教授分為兩派，一派是以胡適為領袖的現代評論派，一派是以周氏兄弟為首的語絲派，而他“是屬於後一派的”。林還為魯迅繪過一張《魯迅先生打叭兒狗圖》。
張宗昌上臺後，沒有報紙敢發表林語堂寫的文章，軍人打扮的人還時不時地在林家門口溜達一圈，美其名曰“保護”。報紙上還流傳著一張北洋政府準備第二批通緝的名單，其中，林名列17位，魯迅排在21位。林在友人家中藏匿三個星期後，接受了廈門大學校長林文慶的邀請，到廈大任教。臨行前，林語堂還特地去向魯迅告別。之後，林語堂將魯迅、孫伏園、沈兼士、章川島等在京受到迫害的一干好友邀到廈大。
廈大靠理科起家，經費、校舍資源等各項政策都向理科傾斜。林語堂到校後，分去近一半的研究經費，遭到理科部主任劉樹杞的忌恨。劉利用自己掌管財政之便，三次讓魯迅更換住所，最後竟讓魯迅搬到了理學院大廈的地下室。更過分的是，魯迅的屋子裡有兩個燈泡，劉樹杞說要節約電費，非讓人摘下一個。魯迅氣得目瞪口呆，鬍子都立了起來。魯迅又是一個人在廈門生活，無人照料日常起居，有時只能在火爐上用水煮火腿度日。但魯迅為了林語堂還是留了下來，他說：“只怕我一走，玉堂要立即被攻擊。所以有些彷徨。”
由於在廈大備受排擠，最後魯迅決定去中山大學任教，他說林語堂“太老實”，勸他也離開廈門，同往廣州。廈門是林的家鄉，況且此地還有其他朋友兄弟，林沒有隨魯迅離開。他翻譯了尼采的《走過去》，送別魯迅。
林語堂曾以“白象”稱呼魯迅，意為魯迅的可貴。許廣平此後以“小白象”作為對魯迅的愛稱，周海嬰出生後，魯迅和許廣平稱呼他為“小紅象”。
據說，魯迅與林語堂曾同住在上海北四川路橫濱橋附近，一次魯迅不小心把菸頭扔在了林語堂的帳門下，將林的蚊帳燒掉了一角，林心中十分不悅，厲聲責怪了魯迅。魯迅覺得林小題大做，因為一床蚊帳這麼大火氣，便回敬說一床蚊帳不過五塊錢，燒了又怎麼樣，兩人就這樣爭吵了起來。
魯迅和北新書店的老闆李小峰鬧版稅官司，郁達夫作和事佬為二人調解。此後，李小峰宴請魯迅，林語堂夫婦也被邀請參加。席間，林提到魯迅的北大學生張友松請客之事（張曾請魯迅和林語堂吃飯，說也要辦一個書店，並承諾決不拖欠作者的稿酬），並說“奸人”在跟他搗亂（指張友松傳播他在漢口發洋財一事）。