據安氏族譜記載，安期生為了尋找神山仙藥。曾周遊四海。有一次他在東海中遇到風浪。自以為必死。但醒來後卻發現為一神龜所救，已經到達了蓬萊仙山，並在山上遇到了仙女，至於他和仙女有沒有發生什麼不得不說的故事，則任何典籍都沒有記載，反正在那之後，安期生的名氣開始越來越大。
後來，安期生在黃老哲學的基礎上。與東海地區的狐仙、神仙文化相結合，採仙藥、煉仙丹，創出一條全新的得道成仙的道路，成為了方仙道的創始人。
秦始皇和漢武dì dū是安期生的腦殘粉，始皇帝為了向安期生尋求長生之道，曾三次東巡琅邪，到天台山尋訪安期生，第一次與安期生暢談三晝夜，秦始皇賞賜了他許多金銀財寶，但安期生不受。並說我即將去蓬萊修仙，以後再要找我就得去那兒。
幾年後。秦始皇又來了，安期生果然已經不在，於是始皇帝派出徐福和盧生帶上數百名使者去東海尋找蓬萊仙島，但卻在半路上遇到了風暴，無功而返。沒有證據證明這是秦始皇第幾次派徐福出海尋仙，但後人有充分的理由推斷，島國的由來跟這位傳說中的老神仙有著一定的因果關係，或許就是從那一次之後，秦始皇開始正式動了派人出海求取仙藥的念頭。
第三次來的時候還是沒有見到安期生，於是秦始皇下令在天台山上建了一座安期祠，並親自書寫了一副對聯“師黃老頌黃庭悟黃道位居北極真人，採仙藥煉仙丹修仙體成就千歲神翁”，並將第一次與安期生暢談的地方命名為望仙澗，安期祠現在早已經損毀，但遺蹟仍在。
雄才大略的漢武帝比秦始皇更加瘋狂，某一天，他手下一個叫李少君的人對他說自己在海上見過一個叫做�