不久，愛因斯坦在身體基本康復後，就決定與米列娃離婚，和艾爾莎結婚。離婚判決書於1919年2月14日取得，並且約定愛因斯坦的諾貝爾獎金歸屬米列娃。
米列娃在蘇黎世度過了她的餘生。首先她恢復了自己孃家的姓，叫瑪裡蒂，但是根據蘇黎世政府1924年12月24日的判決，讓她恢復愛因斯坦的姓。愛因斯坦偶爾看望兒子的時候，常常住在米列娃家裡。米列娃是個難以相處的人，從來不相信別人，心情憂鬱。米列娃在1948年去世。
多年之後，愛因斯坦曾談到來列娃，說：“她從不原諒我們的分居和離婚，她的性情使人聯想到古代的美狄亞。這使我和兩個孩子的關係惡化，我對孩子向來是溫情的。悲觀的陰影一直繼續到我的晚年。”
1919年6月2日，愛因斯坦與艾爾莎結婚。此時，愛因斯坦40歲，艾爾莎43歲。他們的新家安置在艾爾莎居住的哈伯蘭大街5號。
艾爾莎文雅、溫柔，像慈母一樣，具有典型的資產階級風味，她喜歡照顧愛因斯坦的生活，並以此為樂，愛因斯坦的聲望也給她帶來了榮耀。
結婚以後，在柏林高等住宅區裡，愛因斯坦有了溫暖舒適的家庭生活。有客廳、餐廳、臥室、書房；有地毯、莊重的傢俱和精巧的小擺設。一般中等有產者家庭裡的東西，這裡也一應俱全。他們也像所有有身份的人那樣，每星期招待一次賓客，擺出一桌酒菜來。
愛因斯坦是過慣了馬馬虎虎生活的人，米列娃給他安排的家庭生活也是亂糟糟的。可在哈伯蘭大街5號，一切都是井井有條的，連每天抽多少煙，艾爾莎都給他安排好了。莊重的傢俱擦得鋥亮，華美的地毯在腳下柔軟而有彈性，房間裡窗明几淨，充滿著一種舒適、溫暖的味道。然而，愛因斯坦生就了叛逆的性格，在科學事業、政治理想和生活習慣上，他都是一個勇敢的反叛者。在這個體面、尊貴的有產者氣氛的家庭裡，他像一個撞進門來的陌生人、流浪漢。他會光著腳走到客廳裡來，他會不穿襪子，光腳塞在那雙磨歪了後跟的皮鞋裡，坐到招待來賓的大餐桌旁。艾爾莎佯裝生氣，向他提出抗議。他呢，笑眯眯地說：“不要緊的，夫人，客人都是熟朋友，對嗎？”
在家裡的僕人看來，主人越來越長的頭髮，心不在焉的神情，以及那身隨隨便便的衣服，在天鵝絨的大窗簾前，在花籃形的大吊燈下，總顯得有點不協調。可這位主人，完全不顧這些，我行我素。
艾爾莎給人的印象恰好相反。如卓別林在1931年第一次遇到艾爾莎後，曾對她作過這樣的描繪：“她婷婷玉立，精力充沛，能夠成為偉人的妻子她很高興，而且她也很坦率，並不隱藏自己的觀點，她的熱情惹人喜愛。”
和愛因斯坦結合，艾爾莎心滿意足，特別是愛因斯坦與自己的兩個女兒關係融洽，更讓艾爾莎感到幸福。愛因斯坦則像長期浪跡天涯的吉普賽人，總算有家了。這對愛因斯坦來說確有很大好處。他喜歡有人照顧自己，也很喜歡在自己家裡接待客人——科學家、藝術家、外交家及其他私人朋友。
可這舒適、安穩的生活環境並沒有改造愛因斯坦，相反，他又一次感到陌生和孤獨。他的朋友和訪問者都這樣說過：愛因斯坦“以前的生活是豪放不羈的，現在開始過起中產階級的生活來了……他的家庭如同柏林的典型小康之家一樣，家裡有豪華的傢俱、地毯、畫……。”但是，“人們踏進愛因斯坦的房間時起，就會發現他是這樣環境中的‘外人’——中產階級家庭里豪放無羈的客人”。
儘管艾爾莎對新的家庭很滿意，也深深愛著愛因斯坦，但許多人發現，或說感覺到愛因斯坦與艾爾莎間的關係並不十分親密。艾爾莎臥室的隔壁是兩個女兒的臥室，愛因斯坦的臥室則在樓下大廳裡。他們倆看起來不像是一對有事共同商量和考慮問題的夫妻。艾爾莎有一次給埃倫費斯特寫信說愛因斯坦的意志是“難以揣測的”。她很注意社會地位和他人的輿論，在這一點上她與丈夫恰恰相反。愛因斯坦則在許多場合說閒話的時候流露出，作為一個結過婚的人，他對神聖婚姻的快樂是有保留的。例如，有人看見他不斷地清除自己的菸袋，就問他，是因為喜歡抽菸才抽菸呢，還是隻為了清除和重新裝滿菸袋呢？愛因斯坦回答說：“我們的目的在於抽菸，我想，結果總有什麼東西堵塞住了。生活也像抽菸，婚姻更像抽菸。”
1936年艾爾莎剛剛去世不久，愛因斯坦給玻恩寫信說：“我已經十分適應新的環境了，就像洞穴裡的熊一樣，與我的事件繁多的生活相比，我現在覺得自由多了。由於我