間的糾紛之事很是重視，立刻派人到福建去，實地調查此事，調查之後認為他在處理神光寺一事上確有‘抑民奉外’等可商榷之事，於是，皇帝降旨，免去他巡撫之職，內調入京，擔任了俗稱‘副弼馬溫’的太僕寺少卿。
誰知道剛剛到任不久，因為一本由徐繼畲編纂的圖書，皇帝大發雷霆之怒，徐繼畲也幾乎落得一個鬧市問斬的下場
事情的起因是這樣的：道光二十二年，徐繼畲進京陛見，道光皇帝詢問海外形勢與各國風土人情，他具所知答對，道光皇帝很滿意，遂責成他纂書進呈。徐繼畲發奮努力。隨時採訪，廣為蒐集資料，公餘著述。做成的一部書便是《瀛環志略》，最初名《輿地考略》。
該書分十卷卷。書中先為總說，後為分敘，圖文並茂，互為印證，於各洲之疆域、種族、人口，沿革、建置、物產、生活、風俗、宗教、盛衰，以及列國比較，皆言之頗詳，亦間有議論。
這本書中有一些徐繼畲大發闡論的內容，特別是在提到美國的時候，有這樣一番話：“該國……‘幅員萬里，不設王侯之號，不循世及之規，公器付之公論，創古今未有之局，一何奇也’”又說：“‘華盛頓，異人也……開疆萬里，乃不僭位號，不傳子孫，而創為推舉之法，幾乎天下為公，侵侵乎三代之遺意’”。
就是書中這樣的一番話，給徐繼畲引來了極大的麻煩，新君在訓斥他的上諭中說：“……先皇在日，每每以二百年全盛之國威，乃為七萬裡外逆夷所困，致使文武將帥，接踵死綏，而曾不能挫逆夷之毫髮。興言及此，令人髮指眥裂，泣下沾衣。時時