洋政府執政，人心不穩定，故宮內的古物珍寶紛紛流失海外，盧憑著鑑別中國文物的本領，成功低價收購不少古稀珍品，推銷到歐洲市場，一本萬利。逐漸成為享有盛譽的中國古董鑑賞家，也成為歐洲華人中的名人。
“資料顯示當年隨著其生意日隆的同時，也導致大量國內文物走私流散海外，他在國內招致大量批評聲音。且在文物買賣事業的鼎盛時期，卻栽在譚敬的作偽集團手中，大大損失其名譽與信任度。而隨著新中國的建立，文物走私和國際貿易中斷，更使其國內文物來源斷供，50年代初他不得不全部清貨，結束生意。”
吳天緣專門研究多譚敬和盧芹齋的秘聞，一個最大的做假團伙，一個最大的文物販子，狗咬狗，最後兩個人都只能遠走他鄉。
流失於海外的中國古董，約有一半是經過盧芹齋的手售出，其中以昭陵六駿中的“颯露紫”和““拳毛騧”最為著名，它們大約在1916年至1917年被偷運至美國，被盧芹齋以12.5萬美元賣給賓夕法尼亞大學博物館。
當時盧芹齋將昭陵六駿石刻全部打碎準備偷運出國，幸而其中四駿被北洋政府查獲，但＇颯露紫＇與＇拳毛騧＇被其偷運出國，賣給美國賓夕法尼亞大學博物館，雖經中國政府多次討要，仍未成功，唐太宗昭陵六駿天各一方，令國人唏噓。
盧芹齋一生走私出賣的明以前造像，石刻，青銅器，玉器不計其數，其中大量出自於歷代皇帝被盜的陵墓。盧芹齋給中國文化，考古，文物鑑定等方面造成了不可估量的損失！
“法國收藏家與美國收藏家的品味不同。法國人喜愛的是：康熙三彩，抹紅、茄皮紫、孔雀綠等釉色的瓷器，青銅器，石雕，唐三彩和明清法花器。而美國人比較喜愛北宋鈞窯瓷器、康熙郎窯紅、三代青銅器、古玉、出土冥器、北魏浮雕、字畫玉雕。而且美國收藏家的胃口非常大，只要是老東西，就肯出高價購買，而且願意和古董商保持長期合作關係。”
吳天緣研究著資料，這份是透過龍組收集來，更加詳實和真實，有很多秘不示人的線索供他參考。
盧芹齋40歲時，古董事業正如日中天。此時他產生了一個新的想法，就是建造一座完全中式的建築，用以展示和銷售來自中國的珍寶。但是這個想法在市政規劃非常嚴格的巴黎幾乎是不可能的。巴黎的建築都有統一的風格，每幢房子的高矮、設計風格、材料都要經過嚴格的審批，必須與周圍建築整體相協調。
盧芹齋第一次提出的改建計劃沒有獲得批准。他沒有氣餒，在法國建築師布洛克的協助下，再次提出了申請。不知道他使用了何種神通，巴黎市政府最終批准了他的計劃。
改建工程從1926年開始，僅用了2年時間，就把原來3層高的公館改建成了5層的中式紅樓。這應該是巴黎市內最正宗的一座中國式的建築！