還是無可奈何地看著這位新主給漢王朝發出了求援書。書中稱：“兩越俱為藩臣，毋擅興兵相攻擊，今閩越興兵侵臣，臣不敢興兵，惟天子詔之。”以趙胡的想法，如此上書，不僅向漢武帝表明了南越國忠於臣屬之職，不興兵互相攻擊，同時又可使漢朝廷出面干涉。這樣，就巧妙地把難題推給了漢廷。
漢武帝接到南越國使臣送來的求援書後，對趙胡的舉動表示讚賞，認為南越國重信義，守職約。於是，漢武帝傳詔曰：“王子多南越義，守職約，為興師，遣兩將軍即大行王恢率軍出像章、大農韓安國率軍出會稽，南北夾攻往討閩越。”
漢王朝的直接發兵於預，大出閩越國統治者的預料之外，面對大敵當前的緊迫形勢，閩越國上層統治集團發生了分裂。繼無諸之後的閩越王鄭之弟餘善殺鄒而降，“使使奉王頭馳報天子”，漢軍於是停止進攻，上報漢廷，武帝乃改立無諸之孫“爵君醜為越舔王，奉閩越先祭祀”。但在閩越國統治集團的內讓中，餘善以殺其兄而“威行於國，國民多屬”，擁有了相當的支援力量，因而“竊自立為王”。面對閩越國出現的這種情況，漢王朝採取了分而治之的策略，下令立餘善為閩越王，從此閩越國一分為二，越舞王、閩越王並存。
在這場戰爭中，閩越出於掠奪財物的企圖而發起侵襲，顯然不是正義之舉。而南越國既未損己之兵，又使敵軍退卻，看上去這是件一舉兩得的好事，但就在這件好事的背後，卻暗藏著極大的隱患，這個隱患所導致的嚴重後果是趙胡始料不及的。
就在漢武帝派大將王恢出兵輕取閩越時，曾以兵威為後盾的番陽令唐蒙，奉詔來到南越國都城番禺，讓南越王趙胡親自人朝向皇帝謝恩。趙胡接到一詔諭後，不知漢武帝到底是何意圖，對這個詔諭採取了不冷不熱的處置態度，沒有立即奉詔前行。漢武帝見南越王趙胡無動於衷，接著，再次傳詔，令嚴助赴南越說服趙胡前往長安。嚴助，會稽人。“嚴夫子子也。郡舉賢良，對策百餘人，武帝善助對，由是獨耀助為中大夫”。嚴助在漢廷是屈指可數的善辯之士，曾“與大臣辯論，中外相應以義理之文，大臣數汕”，所以漢武帝對他另眼看待，並委以重任。這次出使南越的任務落到嚴助的肩上。嚴助到達番禺後，告訴趙胡漢天子已將閩越的事擺平。趙胡聽後頓首，認為“天子乃為臣興兵討閩越，死無以報德！”表示了對漢的感激之情。當嚴助接著傳諭讓趙胡人漢朝親自向皇帝謝恩時，趙胡這才回過味來，認識到問題的嚴重，不免大驚失色。原本南越號稱有百萬帶甲之眾，擊敗昔日役屬的閩越易如反掌，但趙胡卻故作聰明地要請漢廷出兵。豈不知，古往今來，凡立國者，皆以己強而服眾，一旦自己強盛起來，別人才會俯首帖耳，惟命是聽。而一旦你弱小，即使禮儀再周全、再誠實、再厚道，在強者眼裡，你也只是形同糞土。趙胡過分看重漢廷的實力和約定，而忽略自己百萬帶甲之眾和據嶺自守的天然屏障，想做個惟命是從，百依百順的順臣，這恰恰是漢武帝所期待的。
趙胡面對詔令並懾於漢朝廷的威勢，他不敢予以拒絕，也不敢跟嚴助人長安晉見天子。情急之中，只好和幾個近臣商量，稱自己本願同嚴助一同人朝晉見天子，以示謝恩，無奈自己繼位時間不長，身體多病，不能去往長安，一旦病情有所好轉，即刻赴長安晉見天子。為了表達自己的誠意，特命太子趙嬰齊跟嚴助一同赴長安為皇帝“宿衛”。
嚴助見趙胡如此說，不便強求，只好帶上太子趙嬰齊返回長安。
嚴助走後，趙衚衕朝臣反覆商量是否親自去長安晉見天子之事。以承相呂嘉為首的臣僚不同意趙胡親赴長安，並勸諫說：“漢興兵誅鄭，亦行以驚動南粵。先王言事天子期毋失禮，要之不可以休好語人見。人見則不得復歸，亡國之勢也。”
臣僚們的勸諫，勾起了趙胡對亡祖父趙佗當年所留遺訓的回憶，想起了漢、越幾十年來相互存有戒心和敵視的歷史。從此之後，他對漢廷一直稱自己有病在身，不肯去長安入見皇帝。
漢武帝見趙胡遲遲不肯人朝晉見自己，便以牙還牙，以種種藉口，把太子嬰齊質於長安不肯放回。趙佗當年的遺訓應驗了。
後來，垂相呂嘉用計，設法使太子嬰齊返回南越。但趙胡自太子人朝後，萎靡不振，如同大傷了元氣一般，不再見輔佐大臣。呂嘉等群臣以國家基業為重，數次入主宮進諫，總算使趙胡有了些起色，但已無力挽回南越國江河日下的頹局了。
在這種危機四伏的格局中，趙胡勉強支撐了十餘年便抑鬱而死，死後謐為文王。
多少年後，