音大士在未找到說法地普陀山之前曾在此島停留過渡，因此成為佛渡島。
島上石頭林立，石頭之間只有野草生長，沒有可供種植的耕地，因此一直杳無人煙。
但是在明朝中期，這裡卻是海上走私中心，葡萄牙人、大海盜汪直都曾經將這裡當做貿易基地，用來跟江南做貿易。
嘉靖二十七年（1548），明朝浙江巡撫朱紈率戰船三百八十艘、六千大軍進擊雙嶼港，擒海商頭目李光頭、許六、姚大等，毀所建營房，爾後官兵以木石填塞雙嶼港。明軍又打敗了倭寇，趕走了葡萄牙人，這裡就再一次荒蕪了起來。
楊潮重開貿易，荷蘭人就選中了這裡，楊潮允許他們在這裡建立貨棧。荷蘭人在幾年時間就將這裡從一個荒島變成了一座繁華的港口，投入了十餘萬兩銀子，建立了碼頭，修建了上百間大型貨棧。
但是楊潮沒有允許他們修建城堡，而且讓施琅後來在這裡建立了海軍基地。
雙嶼港之所以被汪直、葡萄牙人看重，這裡的地理位置極為重要，位於杭州灣口。南邊是寧波。北邊是松江。後世這裡都是優良的貿易港口，可以輻射江浙甚至閩廣一帶，後世這裡同樣是海軍基地。
這次戰爭爆發後，楊潮立刻派軍將雙嶼港上的荷蘭人抓捕，將荷蘭人的港口碼頭沒收，以後這裡就沒有荷蘭人的私產了，都是大明官府的官產，碼頭是公有的。貨倉是海關的。
此時碼頭上訂立了許多十字架，每一個十字架上都掛著一具屍體，全都是金髮碧眼的洋人，許多來這裡做生意的浙江商人指指點點。
荷蘭人開發了這裡後，招徠來了許多杭州灣一帶的商人，杭州灣潮水湍急，礁石密佈，沒有良好的海港，只能通小船，過去杭州灣的貨物要海運。要麼用小船運到寧波出海，要麼就是送到松江去。
這些商人就是駕著小船送貨到雙嶼港。從而跟荷蘭人貿易的。
“諸位，你們說大都督會不會禁海啊。這才開了幾年啊，要是又禁海，大傢伙的生計，可就無著了啊。”
幾個商人看著嚴酷的情況，不由苦惱的說道。
“還能怪誰，不都怪這些洋毛子，貪得無厭！”
他們也看不慣這些洋人竟然敢去搶劫，他們中就有不少海寧人。
“聽說大都督把洋毛子的老巢都剿了，這些洋毛子就是在臺灣打死的，掛在這裡要給後人一個警醒，聽說大都督還要發兵去更遠的地方，把洋毛子趕盡殺絕呢。”
“這麼說大都督一定要海禁了啊。”
一個商人嘆了口氣，把毛子都殺光了，就是不海禁，他們還能跟誰做生意去。
幾年前他們大多都還是漁民，開了海貿一個個透過運輸，這才發達起來，家家賺了點，但是也不多。
最苦惱的是一個剛剛讓人打造了大海船，打算擴大規模的四十多歲的男人，他家正是海寧縣的。
“殺，殺的好。該禁就得禁！豈能因為我等商賈，讓海寇禍害相鄰呢。”
這時候他們突然看到幾個士兵從一個大房子中走出來，哪裡是東印度公司的辦公地點，現在則是雙嶼港的港務衙門。
幾個兵拿著黃紙和漿糊，在掛著屍體的木杆上，刷刷貼出了幾張告示。
商人們瞬間就圍了過去，看到訊息後，心裡一顆秤砣頓時落地。
楊潮告訴這些人，不會禁海，要大家安心，繼續做生意。只要照章納稅，就是良商，就是有貢獻於國的棟樑。
“大都督萬歲！”
幾個商人歡呼著。
“走，哥幾個，讓犬子打幾十斤大魚，今晚到我家去喝酒去。”
剛剛添置了大船的海商高興的喊道，他家是當地的大族，人口幾百人，住在海邊一個村子中，但是卻不是名門望族，只是老老實實的漁民，不是開海貿他也發不起來。他這次打造大船，就是為了把村裡的後進青壯都拉到船上謀生，可沒想到出了這件事，為了造船，他可是借了不少錢的。
一群人也不拒絕，嚷嚷著要吃窮老俞，笑罵他家大船下水都不知道擺席面，這次就算補上了。
讓海商高興的，當然是楊潮沒有禁海了，也就是說楊潮威脅荷蘭人禁海一事，只是虛張聲勢，而這時候公佈出來，自然是因為跟荷蘭人談好了。
其實荷蘭人也不得不接受楊潮的要求，因為臺灣輕鬆就被佔領，接著楊潮果然聯合鄭氏發兵南洋，頃刻間佔領了馬六甲。
馬六甲這裡本來在葡萄牙人手裡，地位上相當於後世的新加坡