林和鄰居們的交往中曾招來物議的是他同幾位女鄰居的交往。約翰·亞當斯曾不以為然地說他，“都七十掛零的人了，喜歡美人和喜歡美人的趣味卻未曾稍減”。但實際上，沒有什麼根據可以證實那些說他好色的傳說。
1779年10月11日，他給他在波士頓的繼侄女寫信，信中說：“你提到法國女士們對我的好意，我必須對此作出解釋。這是一個世界上最友善的國家。你的第一批熟人竭力發現你喜歡什麼，然後去告訴別人。如果你被理解為喜歡吃羊肉，那麼在你被請去吃飯之處都會有羊肉。看來是有什麼人說了我喜歡女人這樣的話，於是，人人都把他們的女眷介紹給我（或是女士們自己自我介紹）擁抱，這是說，讓我吻她們的脖子。因為親吻嘴唇和麵頰不是那裡的通常作法，前者會被認為是粗魯，後者會把脂粉擦去。然而，法國女子自有上千種其他方法來取悅於人：用她們變化多端的殷勤和友善，以及她們通情達理的交談。”
在帕西的鄰居中，和富蘭克林交往較為密切的有布里倫夫人，這是一位財政部官員的妻子。那官員比她大很多，又缺乏想象力。她在富蘭克林搬到帕西后不久就見到了他，那時她是30多歲。從一開始她就喜歡上了老哲學家。他告訴她美洲印第安人的故事。布里倫夫人們富蘭克林看作自己的父親。當然，他們�