妻室建造，他並沒有入住，公館建成後徐派出兩個連的兵力保護。公館外觀雄渾壯麗，內裡裝飾美輪美奐，公館的地下室有一個秘道，傳說寶藏就埋在這條秘道里。
解放初期曾有人在徐家公館附近挖花壇，結果挖出一條深可過人、內有積水的地道。由於當時挖開的地道中不斷冒出騰騰的水氣，眾人懷疑地道下可能有機關和毒氣，就沒敢下去。
第一次全國文物普查時，包括武大歷史系教授在內的專家組多次對徐公館和徐源泉的親屬街坊進行仔細的尋訪，結果並未發現任何有價值的線索。
為搞清徐公館的埋寶之謎，1994年文物管理所副所長的胡金豪，專程探訪徐公館東廂房下的密室。仔細地清掃這間僅幾個平方米大空無一物的密室，並細細敲打每面牆磚，檢視裡面是否藏有機關，結果毫無發現。
後來胡金豪還走訪當時已93歲高齡的徐公館女傭袁一全，對方回憶說，孫殿英盜東陵，徐源泉是司令，因此發了財，就用這筆錢修建了徐公館。當時蓋房用的是武昌城牆上的磚。公館建成後，軍隊曾在徐公館附近槍斃人，人們懷疑被槍決的人是修房的工匠。
而世代居住在倉埠街的林庚凡老人提供又一種說法，他是徐源泉姐姐的養子。據他介紹，10歲時曾到過徐公館玩耍，那時徐公館富麗堂皇，地道里盡是值錢的寶貝。
徐源泉有許多衛兵，徐源泉的妻子當時有頂鳳冠金光燦爛。公館大門原先朝北，徐源泉認為這寓意敗北不吉利，於是改大門為現在的西北方向。
後來這裡還成為島國駐軍基地，亂世錄上也沒有鎖定大致範圍，就連焦老九都不能確定是否真有寶藏留下。畢竟當年徐源泉跑到寶島，如果真有寶貝，肯定隨身帶走，留下的機率太低。