離開星洲之後，郁達夫的心境極其孤寂和頹唐，這時，一位國色天香的女播音員李小瑛（筱瑛、曉瑛、曉音）出現在他的面前，使他已是一潭秋水的心池，又波動起一片漣漪。李筱英是福建人，畢業於上海暨南大學，能說流利的英語、上海話。1941年，李筱英剛滿26歲，因和丈夫意見不合而離婚。當時她是新加坡情報部的華籍職員，後來又擔任新加坡電臺的華語播音員。李小瑛十分崇拜郁達夫的文學才華，並主動向郁達夫示愛。46歲的郁達夫在政治失意和家庭破裂之餘，遇上這位花容月貌的佳人，一拍即合，兩人感情迅速發展，不久，李小瑛就以郁達夫“契女”的名義搬到郁達夫家中居住，郁達夫也不避嫌疑，把自己的書房讓給李小瑛，暗中則已實行同居之好。為了表示親暱，郁達夫甚至用羅馬史家Livius的英文名字Livy作為對李小瑛的暱稱，還常用德語IchLiebedich（我愛你）來表示愛意。據王任叔說，他對這位李小姐，已到了“忠順與卑屈，已到了奴隸的程度”。
但是，郁達夫和李筱英的結合遭到郁達夫的兒子，當時僅13歲的鬱飛反對。雖然李筱英極力想搞好和鬱飛的關係，時常帶他去看電影，散場後還帶他去高階餐廳飲冷品，並買很多玩具給他。鬱飛想要架小望遠鏡看星象，她發薪水後領著鬱飛去歐洲人商業區打算給他買，誰知只有大型的，價格相當於她的月薪，只能作罷。可是鬱飛對這些始終不領情。郁達夫礙於兒子不接受李筱英，也不便正式結婚。1941年12月，李筱英痛苦地搬出鬱家。太平洋戰爭爆發後，李小瑛退到爪哇島，郁達夫逃亡到蘇門答臘。為了表達自己的感情，郁達夫模仿唐代大詩人李商隱的《無題》，以李筱英為主人公寫下了不少詩篇，後來將這些詩收入名為《離亂雜詩》的集子中。
對於郁達夫和李筱英的相戀同居，吳繼嶽在《值得我們懷念的愛國詩人郁達夫先生》中作了這樣的評述：“李筱瑛一因久慕鬱先生的才華，且知道鬱先生已和王映霞仳離，由於同病相憐，李筱瑛便主動向鬱先生示愛。……不久，李筱瑛公然以鬱先生的‘契女’身份，搬進鬱先生家裡。那時鬱先生的大兒子鬱飛已十三四歲，對李筱瑛沒有好感，鬱先生也因受過王映霞的教訓，對年齡幾乎比自己小一半的美麗少婦，雖難拒她的熱愛，但礙著兒子，不便註釋結婚。兩人雖已同居，但名義上還是‘契女’與‘契爺’。這種情緒約莫過了半年。”
李筱英後隨軍撤到印度，並跟一位青年廣播員結婚，其後丈夫在一次車禍中喪生。她悲痛之餘，返回新加坡，在“麗的呼聲電臺”任華文部主任。後來再嫁，並定居香港，生兒育女。
田漢在自傳體小說《上海》中，為停妻別戀的朋友郁達夫辯護，將愛情的多元論歸結為“藝術家的特權”。
【懺悔】
郁達夫第一次去妓院，受了龜兒鴇母的一陣歡迎後，郁達夫便選定了一個肥白高壯的花魁妓女。這一晚，他直坐到深夜，且歌且飲之後，便把童貞破了。第二天中午醒來，在錦被裡伸手觸著了那一個溫軟的肉體，便迷迷糊糊地想起了昨夜的痴亂的狂態，頓時覺得像在大熱天裡，當頭被潑上了一身涼水。他情不自禁地流下了兩行熱淚，狠狠地自責說：“太不值得了！太不值得了！我的理想，我的遠志，我的對國家所抱負的熱情，現在還有些什麼？還有些什麼呢？”他的這種巨大的精神痛苦，充滿尖銳的靈與肉、道德律令與本能慾望的激烈衝突，時刻都在折磨、壓抑著他，表現在作品《雪夜》中。
郁達夫對於自己之所以沉迷於酒色生活的情由，曾這樣說過：“人生終究是悲苦的結晶，我不信世界上有快樂的兩字。人家都罵我是頹廢派，是享樂主義者，然而他們哪裡知道我何以要去追求酒色的原因呢？唉唉，清夜酒醒，看看我胸前睡著的被金錢買來的肉體，我的哀愁，我的悲嘆，比自稱道德家的人，還要沉痛數倍。我豈是甘心墮落者！我豈是無靈魂的人？不過看透了人生的命運，不得不如此自遣耳。”
郁達夫苦悶的時候，經常會罵孫荃。孫荃從來不還口，任郁達夫罵去，她總是一邊擦著眼淚，一邊拖著日益膨脹的肚子到廚下給郁達夫燒飯做菜；或者是默默地躺在床角里暗自流淚。而郁達夫每當罵了妻子後，把胸中的悲憤發洩完了，卻又往往會痛加責備自己：“啊啊！我在社會上雖是一個懦弱的受難者，在家庭內卻是一個兇惡的暴君哪！”在責備自己後，郁達夫還常常對孫荃加以撫愛一番。
當孫荃生下他們的第一個男孩龍兒後，郁達夫在高興之餘，更多的是憂慮，耽心日後會有更多的苦吃。