淨飯王聽到佔相仙人的話，也是又喜又憂。他當然希望自己的兒子成為統一天下的轉輪王，國王從此千方百計防止太子出家修道。
悉達多太子在幼年的時候，就有沉思的習慣，世間許多現象被他看到之後，都容易引起他的感觸和深思。在傳統的“王耕節”時國王要在這一天親自耕種土地，淨飯王帶領悉達多太子來到田野，太子看見在田地裡的農夫赤背裸身在烈日下吃力地勞作，耕田的牛被繩索鞭打皮破血流，被犁鏵翻出來的小蟲蚯蚓，被鳥雀競相啄食，鳥雀又被蛇、鷹吞食。這一幅幅生存鬥爭，弱肉強食的情景，使王子感到很痛苦，他無心遊玩，就走到一棵閻浮樹下靜坐沉思。
佛經上說：悉達多太子坐在樹下沉思，有時能自然升空許久，淨飯王和太子的姨母波閣波提王妃十分驚奇，不由得就朝太子禮拜。
喬達摩？悉達多太子越長相貌越奇偉，天資十分聰慧。他的父親淨飯王對他期望很大，希望他繼承王位後，建功立業，成為一個轉輪王。從太子7歲開始學習當時王族應具備的一切學問和技藝。太子學到12歲，就已經掌握了印度當時最高的學術，即五明和四吠陀。五明即是：①語文學的宣告。②工藝學的工巧明。③醫藥學的醫方明。④論理學的因明。⑤宗教學的內明。四吠陀即是：①養生之法的梨俱吠陀。②祭祀祝詞的搓馬吠陀。③兵法研究的夜柔吠陀。④咒求文獻的阿闥吠陀。四吠陀是當時婆羅門教的經典，被奉為至高無上，貴族必讀。
悉達多太子又向武士們學習武術，練成了一個騎馬、射箭、擊劍的能手。
淨飯王舉行一次武藝競賽大會，釋迦族的王子們都參加比賽。悉達多太子騎射出眾，奪得冠軍，萬人敬仰。
淨飯王發覺自己的兒子對人世間的苦難情景思慮太重，深怕太子產生厭世出家念頭，就為他建造了三座豪華的冬天防寒，夏天避暑，雨季防潮的宮殿（稱三時殿），又選來上百名美麗的少女隨時為太子歌舞。
在悉達多太子16歲的時候，便為他娶了他的表妹耶輸陀羅公主為妃子。企圖從生活的享樂上束縛太子，讓他放縱**，沉迷娛樂。
但是這一切並未能引起悉達多太子的興趣，反而使他感到太喧囂，太騷擾人，使他很厭煩。
更引起他深遠的思考：“人世間有數不盡的苦痛和憂慮都未能解決，一味的追求享樂就能解脫嗎？人的生命是短暫的，享樂又能到幾時呢？”因此，悉達多太子經常躲避開喧譁的歌舞，獨自到幽靜的樹林和河邊去散步思考。
世間凡是做父親的人，不管是國王還是平民百姓，都是怕自己的兒子貪圖享樂，放縱**。
可是，淨飯王卻怕太子清心寡言，產生厭世，出家的念頭，因此，除了為太子修建豪華的宮殿，為太子娶了美麗的妻子外，還時刻關心太子情緒變化，一見到太子沉默寡言，悶悶不樂時，就要設法讓太子高興起來。
當淨飯王發現太子對宮裡的歌舞感到喧騷煩囂時，就讓太子坐馬車去遊玩，並告訴駕車的馭者，一定要帶太子到有歡樂的人群和有美麗的景色的地方去。
可是，悉達多太子喜歡幽靜的環境，他叫給他駕車的名叫車匿的馭者，把他帶到城外去。
悉達多太子乘馬車出城。他剛來到京城的東門，看見一個鬚髮全白，彎腰駝背，行走艱難還不斷呻吟的老人。悉達多看到這個情景就想到：衰老是人人都逃避不了的命運啊！人在兒童時受父母寵愛，青年時英俊蕭灑，壯年時精力充沛，但是到了晚年，人就要在許多痛苦中度日了。
悉達多看到老人後心情難過，就叫車匿調轉馬車，驅車向京城南門走來。剛到南門，又見到一個滿身生瘡流血的病人。病人一邊走，一邊不斷痛苦地呻吟著。悉達多太子想到：疾病也是每個人都不能避免的。人的一生要害多少次疾病，要遭受多少痛苦，真是難以想象的啊！
接著，悉達多太子又調轉車來到京城的西門，看見兩個人抬著一個死人迎面走來，隨行的親屬悲痛地嚎哭著。悉達多太子嘆息地自語：死亡是可怕的，每個人又都難免一死，當死亡來臨時給每人帶來的恐懼，使人多麼難以忍受啊！自己的死亡又造成許多親朋的無限悲痛。這些痛苦，永無休止，任何人都擺脫不了，這叫多麼苦悶，多麼煩惱啊！他立即又離開西門。
最後，悉達多太子驅車來到了京城的北門，看見一個出家修道的人（印度當時稱出家人為“沙門”）從對面走來。這沙門身穿袒右肩的黃色法衣，一手持法杖，一手託缽，態度嚴肅安詳。悉達多太子想道：這出家人是一定不會