臺灣抗日時，精通武術計程車兵在日本人的槍炮下毫無還手之力而一群群慘死的情景，頓時覺得武藝再高強也敵不過槍炮，反而會招來殺身之禍。於是，他發誓不再傳授武藝他人，並告誡其他三個兒子終身不再習武。
客觀地說，黃漢森之死與當時的社會動盪有關，在那個特殊年代裡一些歹徒無法無天。飛鴻不許兒子習武，顯得有點偏激，但卻也是出於一個父親對孩子的愛護。飛鴻的第四個兒子黃漢熙，面孔長得很像其父，小時候也習過武，漢森出事後飛鴻也不再傳藝給他。
關於黃漢森之死，大多數資料均認為事情發生在1919年，但都記載較簡單，彼此相互轉載，都只有簡簡單單的一句話：“1919年，精通武術的次子黃漢森在往廣西梧州渡任‘護勇’時被妒忌其武技的‘鬼眼梁’暗算慘死，對黃飛鴻打擊很大，自此不再向兒子傳授武功。”
據筆者推測，事情發生在1923年中秋的可能性較大。因為有資料顯示，此前“廣東保商衛旅營”曾一度停辦，1923年3月7日鑑於廣東商人在販貨途中屢屢遭到兵匪搶劫，時任廣東省省長的徐紹楨下令恢復“廣東保商衛旅營”，專職保衛省內河道客貨船的航行完全。6月，廖仲愷任省長後，又令廣東江防司令部、番禺保商衛旅營切實負起緝匪護商之責。恢復該營時需招護勇，黃漢森因此進入該營。此外，黃漢森之死對飛鴻打擊極大，是導致他憂鬱成疾的重要原因之一，如發生在1919年則距他去世相距太久遠。故筆者採信2001年大洋閘道器於此事的報道（該網材料註明來自《資訊時報》）。
“鬼眼梁”張禺七被廣州國民政府警察局抓捕歸案後如何處置的，不得而知。當時國民政府本身也處在內外交困之中，陳炯明盤踞在東江時刻想進攻廣州；北方的軍閥也威脅南方革命政權；軍費的嚴重短缺，引發了一系列矛盾的發生，最終導致了1924年的商團叛亂。商團叛亂使“寶芝林”毀於戰火，是導致飛鴻憂鬱成疾的另一重要原因。
廣東商團最早源於辛亥革命時期的商人自衛團體——粵商維持公安會，1912年2月由粵商維持公安會組織了“粵省商團”。同年，英國滙豐銀行駐沙面華人經理陳廉伯聯合各大商家呈請北京政府備案，獲准持械訓練。商團司令部設在廣州西瓜園，第一任司令為廣州保險經理曾伯華。1924年2月，粵省商團公所召開委員會議，決定將廣州商團重新編成10個分團。隨後，在商團的年度選舉中，廣州總商會會長、香港滙豐銀行廣州分行買辦陳廉伯當選為團長。
陳廉伯，廣東南海人，是中國第一家以民族資本經營的機器繅絲廠廠主陳啟源之子。到了陳廉伯這一代，其家族在廣東的絲織業以及與之相關的進出口乃至金融業等，均有顯赫的地位。廖仲愷曾與陳廉伯徹夜長談，希望他加入國民黨，以其在廣東商界中的名望和實力幫助孫中山的革命。陳以身家性命重要、不想捲入政治為由婉言拒絕。實際上他和其他商人一樣，對共產主義學說在中國傳播和孫中山實行的“聯俄、聯共、扶助農工”政策，以及對工農革命運動的興起，有一種出於階級本能的恐懼。
英帝國主義為了顛覆廣東革命政府，一方面援助陳炯明向廣州進攻，另一方面勾結商團陰謀發動叛亂，妄圖建立一個“商人政府”。在英帝國主義的支援下，商團勢力猛增，1924年初已由初創時的1500人猛增到5萬人，僅廣州就有13000人。
1924年7月，陳廉伯為武裝商團，向英國南利洋行購買大批槍械，於8月初秘密運進廣州。孫中山獲得密報，命永豐、江固兩艦扣押其運械船及9600餘支槍械。商團以罷市相要挾，英總領事公然出面干涉。
除發動商人公開向政府請願外，商團還請人從中調停。後來廣東國民政府同意發還槍支，但每支槍要他們交60元。以每支60元計，9641支槍共57。8萬餘元，這對當時處於財政極度困難的廣東革命政府來說，是一筆不小的收入。對於政府的要求，商團認為難以接受。
各地商團代表在佛山商團團長陳恭受的召集下，在佛山召開秘密會議，決定發動省城及各屬商人罷市。8月22日佛山開始罷市，25日廣州及附近縣鎮全面罷市。
此後雙方進行談判，政府提出了還械六條件，後來附加要商團代籌北伐經費300萬，雙方為此爭執不下。10月4日，商團以尚未領回被扣槍械為由，聯絡廣州及百餘個縣鎮的商人代表在佛山開會，決定發動第二次罷市，並再次前往廣州向政府表示抗議。
為了顧全大局，10月9日孫