一年只有幾百人越洋而來，但一發不可收拾，到了1852年，全年超過兩萬人加入淘金大軍。其中大部分都是葉茂的老鄉，即廣東臺山、開平、恩平、新會，所謂“四邑”。而三藩市在中國人那裡便有了一個“金山”的大號。
淘金者太多，十來年下來，河床表面的金子——也即普通淘金者有能力淘到的金子——便所剩無幾了。還想挖金子，就得打礦井，而這顯然不是普通人做得到的。所以，1861年——咸豐末年啟程的葉茂，實在是趕了一個晚集。
不知道是誰散佈了“金山遍地是黃金，走在路上隨便都能踢到一塊狗頭金”這種說詞——確實有發了財的，但不是他葉茂。幾個月下來，一無所獲，再挖下去，就只好吃砂子了。
只好再去做工。
彼時在美華工基本集中在加利福尼亞州，而加利福尼亞的華工多是所謂“賒單工”，華人自嘲之“賣豬仔”，實質是一種半強制性的契約勞工。即貧苦人家無力支付旅途船票食宿，乃由洋行船東代墊，到美后做工從工資中每月扣還。契約勞工理論上是自由人，但放貸者會明裡暗裡透過各種途徑對債仔採取強制或半強制措施，以求早日清還貸款。“賒單工”的日子是非常辛苦的。
葉茂還好不是這種情形。
很快葉茂發現自己莫非天生做工的命？他聰明，勤奮，又有氣力，手腳靈活，竟是做什麼工都能很快上手；而且一年不到，連英語都可以簡單聽說了。因此，在金山的華工中，葉茂不久便成了一個小小人物。
那個時候美國不管東邊西邊都在大修鐵路，其中最重要的橫貫東西的太平洋鐵路也開始動工。這條美利堅大動脈由中央太平洋鐵路公司和聯合太平洋鐵路公司共同承建，中央太平洋鐵路西起加利福尼亞的薩克拉門託，聯合太平洋鐵路則東起內布拉斯加的奧哈馬，兩條鐵路相向而建，最後在猶他準州（猶他當時還未正式加入聯邦）奧格登地區的普羅蒙特利丘陵會接。工程浩大，西段要穿越內華達山脈，尤其險阻艱難，費工費事。
中央太平洋鐵路的工人原以愛爾蘭裔為主，但愛爾蘭人懶惰閒散，使氣酗酒，而且動輒要求加薪，稍不如意便以停工要挾，以致工程遲遲沒有進展，中央太平洋鐵路的老闆急得頭髮一縷縷地往下掉。
葉茂看出便宜，毛遂自薦，中央太平洋的老闆將信將疑，姑且一試，給了他五十個工人的名額。葉茂馬上召集同鄉，掄胳膊擼袖子就上陣了。華工出馬，高下立見，停滯的工程迅速向前推進，老闆大喜，全權委託葉茂招納華工事宜，多多益善！
葉茂自覺已成為高階管理人員，春風拂面，意氣風發。
他沒有想到的是他已經往死裡得罪了愛爾蘭幫。
愛爾蘭人放出話來，要他好看。葉茂正在興頭上，根本不以為意，而且他在鄉下的時候很食過幾天夜粥（廣府話：習武），真要打架，也沒啥好怕，不論是比拳腳還是比棍棒，都儘管放馬過來好了。
一天夜裡，中央太平洋鐵路工地上的華工工棚突然起火，葉茂見機得快，逃得一命，但他的三個工友卻在睡夢中葬身火海。
至此葉茂才知道，人家想的不是要找他打架，而是要他的命。
愛爾蘭人並未罷休，黑道上已經懸出了葉茂腦袋的賞格。
加利福尼亞是呆不下去了。
怎麼辦？
回中國？這麼一幅喪家犬的模樣？想都不要想。
那就——西邊不留爺，爺往東邊去，就不信沒有留爺處！
葉茂並不曉得美國到底有多大，就像他其實也並不曉得中國到底有多大。只是聽說美國的京城在東邊，大城市大多也在東邊，總是可以討到生活的。
把一點細軟打好一個小包袱，上路。
葉茂先是南下，然後基本沿著美墨邊境，折而向東。他請教過人，這樣的好處是可以繞過內華達山脈，路好走一些。葉茂是修過西太平洋鐵路的，見識過那無邊無際的崇山峻嶺。
但愈走愈不對勁。不是應該愈往東愈繁華嘛，怎麼愈來愈荒涼了呢？
見到人煙也不一定就是好事。葉茂不止一次差點被印第安人殺死，以及不止一次差點被當作印第安人殺死。
但是已經不能回頭了，只好一條道走到黑。
那個時代，美國人的西進浪潮正澎湃洶湧，葉茂形單影隻，逆流而上。在這條“東進”的路上，葉茂使用過那個時代已出現的所有的交通工具，當然，用的最多的還是他自己的兩條腿。
端的是千難萬險。