對於憶德祖師自願放棄地位，幾個弟弟沒有意見反而心裡很開心。但是憶德祖師說要英國公全力資助營造一個寺院時，幾個弟弟都覺得為難。最後憶德祖師拍板，以自己放棄繼承權的代價，獲得英國公家三分之一財產作為建造永安寺的資金。憶德祖師親自寫下自願放棄爵位，把爵位順延給弟弟的奏摺。等到朝廷批准之後，得到修建永安寺的資金就會離開。
不久之後朝廷同意了，新任的英國公也爽快地把錢交給了憶德祖師。憶德祖師低著幾個自願和自己一起修行的下人連夜趕到了永安寺。雖然永安寺的破舊令大家大吃一驚，但是憶德祖師依然決定住下來。也就在這個晚上，憶德祖師在破舊的永安寺大殿許下了一個大願。當永安寺修建完成的時候，就是憶德祖師正式出家的日子。
憶德祖師以為資金夠了，忍受總會好辦的，材料可以花大價錢買，沒想到事情沒有這麼簡單，永安寺不但破舊了而且欠著許多人的錢。永安寺想要打工必須先把欠著的錢補上，還債用去了總資金的一成。憶德祖師私下一打聽才知道材料和人手問題也很嚴重。由於海上不太平，山路難走，就算有材料也運不進來，何況現在材料價格一天一個價格老貴了。人手的問題主要是大家都不願意白乾活。這裡的老百姓太窮了，讓她們幹活不好意思讓他們白乾。老百姓信佛的不多，當然不願意上山幹活。要是憶德祖師利用衙門的力量逼打擊幹活的話，是會讓大家更加不願意信佛失去了在這裡建立寺院的最初目的。要是話大家前傾老百姓幹活的話，光是工錢就會一年過去總資金的三成，憶德祖師的錢看來遠遠不夠。
憶德祖師決定一邊購買材料，一邊由她親自去化緣，請求有錢人出資建造永安寺。憶德祖師首先在福｜建本地化緣，沒想到他不但沒有說服一個有錢人幫助，反而被人當做騙子抓進了衙門。雖然最後衙門的人確認了憶德祖師的身份放了憶德祖師，但是憶德祖師一個堂堂的英國公傳人做了一個化緣和尚的事情令大家唏噓。憶德祖師見當地要不到錢，就回家說服弟弟們捐錢。可是這一次憶德祖師沒有要到太多的錢，弟弟們躲瘟疫一樣躲著他。憶德祖師索性進京向勳貴們化緣，希望大家看在自己的面子上，看在做善事的目的上，幫助永安寺渡過難關。
憶德祖師終於感受到了悲哀，這些勳貴寧願醉生夢死也不願意做一件有意義的事情。勳貴們喜歡看見憶德祖師落魄的樣子，希望看見憶德祖師低三下四，但是就是不願意粗淺。以前對憶德祖師十分客氣的大家，指揮笑話或者諷刺憶德祖師。更有幾個被憶德祖師選不中小姐現在的貴婦人，為了羞辱憶德祖師，說出十分難聽的話。為了永安寺，為了讓大家捐錢，憶德祖師忍受了一切。所得到的結果也不過是區區數百兩銀子，憶德祖師卻成為了整個貴族的笑柄。
最後還是憶德祖師的妻子薛家小姐的弟弟得知這件事情後，說服他的父親拿出一半家產幫助憶德祖師。憶德祖師拿著這筆錢回到了永安寺，開始了她下一步的計劃。知道這些錢來之不易後，憶德祖師不敢大手大腳花錢。材料他親自選，價格他親自商量，運費計算到一分一厘。為了節省人工，他帶著大家親自抬材料上山。短短几年之間當初那個英俊瀟灑的貴公子不見了，在大家眼前的是一個結實又精打細算的居士。
憶德祖師一邊修建寺院，一邊用空餘時間幫助老百姓，儘量用大家聽得懂的粗淺道理論述佛法。在憶德祖師的努力下，越來越多的當地老百姓開始信仰佛教。這些人成為了永安寺心得信仰者，自願自發過來幫忙，他們也是憶德祖師的第一批弟子。那一年憶德祖師二十七歲了，可是不知道他正是年紀的人都以為他已經過了中年。
憶德祖師十四歲成家，十八歲那一年失去了父母妻兒。十九歲在武夷山第一次接觸到了佛經《地藏菩薩本願經》。二十一歲在九華山開悟。二十三歲在嵩山少林寺醒悟，並承擔起建造永安寺的任務。二十四歲脫離英國公府，放棄英國公爵位。在永安寺許下大願興建新永安寺。二十五歲憶德祖師進京化緣，成為勳貴的大笑柄。二十七歲憶德祖師第一次正式收徒。三十五歲的憶德祖師正式宣佈在原有的永安寺基礎上興建新的永安寺。憶德祖師六十七歲那一年，永安寺終於建成了。新永安寺根據當時嵩山少林寺的格局一比一建造，除了方位和地點之外，幾乎和嵩山少林寺一模一樣。
永安寺建成的那一天可能是憶德祖師最開心的那一天，但是也是憶德祖師覺得最空虛的那一天。大願完成了，任務做完了，心事了結了，憶德祖師反而無事可做了。憶德祖師也在寺院正式開光的那一天，正式剃度出家完成