（1901），被清廷派任奉天新民府五品二堂，即副知府，攜眷上任。他年近四旬，無子，其兄讓他帶長侄去新民，一來此子屢試不中，心中鬱悶，可藉此略為舒散，也見見世面；二來兄弟身邊有個人也可照顧一二。還把次子陳幹生過繼給陳昔凡，留在家鄉讀書。
那時張鴻瑞還做“包袱齋”的古玩生意，經人介紹遠赴新民給陳昔凡送了點古玩，一來二去，成為熟友。光緒三十年陳昇為知府。張再赴新民祝賀，並送了幾件字畫瓷器以為賀禮，陳很喜歡，收下卻照價付款。二人遂成為摯友，都欣賞彼此的老實誠懇憨厚和為人和善沒官僚架子，相處很親密。張建議陳投資在琉璃廠開個古玩鋪，限於現任官員不許經商的規定，“您可用堂號為東，我給您經營著。琉璃廠可是個好地方，將來您致仕離任，住在那裡，讀書繪畫，欣賞文玩奇珍，與文人朋友交往，其樂無窮。”陳欣然接受了這個建議，拿出他多年的宦囊積蓄，開起了崇古齋。後來宣統二年（1910）又在瀋陽開了分號，這就恐怕與正在騰旺發達的張作霖不無關係。
陳昔凡做新民知府二堂時，收編曾是“馬賊”的張作霖，任新民府馬隊管帶。張見陳大人待下屬差人和氣寬厚，不擺官譜訓斥人，終日手不釋卷，教侄子讀書。張此