烏衣巷的一磚一石，都是同王導，謝安兩大家族的歷史緊緊相連的。而王導，謝安兩大家族的歷史，又無疑是同整個東晉王朝的歷史，乃至中國的整個文化史緊緊相連的。
區區一條小巷，曾經住過幾位叱吒風雲的人物。
王導，輔佐創立了有百年曆史的東晉王朝；謝安指揮淝水之戰，以少勝多，打敗符秦百萬大軍。作為一代名相，王、謝足以令後人追懷，王導，東晉王朝建立過程中舉足輕重的大臣。起初是晉室琅玡王司馬睿的安東司馬。西晉末年，爆發八王之『亂』，西晉王朝的統治一朝內土崩瓦解。王導審時度勢，認為天下大『亂』，能振興晉室的唯有司馬睿。遂傾心推奉，為之謀劃。是他勸司馬睿把都城移到了建康（就是東吳的建業，今天的南京） ，為東晉打下了立國之本。是他依靠北方士族的力量，團結到江南士族，協助司馬睿建立了偏安江左的東晉政權。他歷任晉元、明、成三帝的宰輔，用“鎮之以靜，群情自安”的方針，保持東晉的安定局面。作為晉室中興的元勳，王導功大無雙，一時風光無限。據說司馬睿登極那天居然要把王導拉到他身旁同受百官朝賀，民間更是有“王與馬，共天下”的說法，可見其權勢薰天。
這位東晉的開國元勳，他的府第就在烏衣巷。
謝安，這裡在歷史上可以比擬諸葛亮的人物，年少成名，曾隱居東山，以諸葛自喻，直到四十多歲，留給後世的成語：“安石不肯出，將如蒼生何！”謝萬兵敗被革職，謝氏兄弟再無人擔任高官，為避免門戶中衰，謝安便毅然決定出仕。昇平四年八月，謝安出任徵西大將軍桓溫的司馬，當時年已四十了。桓溫得謝安為僚屬，十分高興。對左右的隨從說：“你們可曾在我的僚屬中見過這樣有才能的人？”謝安最初官職不高，但頗有威望。曾推薦門生幾十人給田曹中郎將趙悅子錄用，趙悅子上報桓溫，桓溫讓他錄用
一半，但趙悅子認為：“當年謝安在東山時，官府名流屢次催『逼』，惟恐他不關心政局人事，今天他自己從鄉選舉士，哪裡有反而不用的道理。”於是，全部錄用。上任之初就成功阻止了桓溫的篡位之舉，太元八年更指揮了中國歷史上奇蹟般的一場戰役：淝水之戰。以8萬精兵擊敗前秦苻堅100萬大軍，從而奠定南朝300年的安定局面。在這場被認為是改變中國歷史的戰役中，謝安揮灑自如，盡顯風流。據《晉書…謝安傳》載，當淝水之戰的捷報傳來時，他正在與人下棋。看完軍書後面無表情，繼續落子。別人忍不住問他，他只淡淡地說：“小兒輩遂已破賊。”其鎮靜如此。這位挽狂瀾於既倒，救東晉社稷於將傾的人物，他的府第也在烏衣巷。
謝道韞，安西將軍謝奕之女，有名的才女。曾經用“未若柳絮因風起”來形容雪，傳為名句。後來嫁給王羲之之子王凝之，對其平庸感到不滿，感嘆：“實不知天壤之下，竟有此王郎”。成為成語“天壤王郎”的出典。
謝靈運，謝安的孫子，中國文學史上佔有重要地位的詩人，山水詩流派的鼻祖。其詩被譽為有如芙蓉出水。“池塘生春草，園柳變鳴禽”的名句流傳千年，不知傾倒過多少文人墨客。 謝惠連，謝靈運的族弟，南朝宋的詩人。當時頗有文名。
謝眺，又稱小謝，南朝齊的詩人，高祖為謝安之兄。山水詩的發展者，極負詩名。據說梁武帝蕭衍就曾說過：“三日不讀謝眺詩，便覺口臭。”唐朝詩仙李白對他極為推崇，詩文中屢屢提及，讚頌不已。後人甚至有李白“一生低首謝宣城”的說法。與謝靈運謝惠連並稱“三謝”。
王族方面，書聖王羲之名滿天下，他是王導從弟之子。作品《蘭亭序帖》向來被認為是“天下第一行書”。
王獻之，王羲之之子，亦是書法名家。有“小聖”之稱。與其父合稱二聖，都是書法史上一流的人物。
王氏中的王坦之，王徽之，王凝之也都不是無名之輩，各種故事流傳至今。
另外，當時在建康的名流還有著名的詩人顏延年、沈約、鮑照，編《昭明文選》的蕭統太子，著《文心雕龍》的劉勰，《詩品》的作者鍾嶸。成語“畫龍點睛”的主角畫家張僧繇。如果把範圍再放寬，更可以舉出數學家祖沖之，天文學家虞喜，化學家葛洪，醫學家陶景弘，哲學家、著《神滅論》的範縝以及高僧法顯等等。這些人在建康，或多或少地都會同高階住宅區……烏衣巷發生關係。
這是一個偉大的時代，如餘秋雨所說，這些人在各自的領域幾乎都稱得上是開天闢地的巨匠。在時代的風雲際會中，烏衣巷親眼地目睹了這一切。這是烏衣巷的幸運