在這種改朝換代的困境中，劉家很快就成了普通的老百姓，過著與從前截然不同的窘迫生活。這樣的生活令劉秀的大哥劉縯非常不滿，經常在家中大發牢騷，聲言定要重振大漢王朝不可。他見弟弟仍然是老樣子，心急如焚。有一天，劉秀在地裡鋤草，劉縯率領宗室兄弟與賓客俠士，忽拉拉圍過來。劉縯指著劉秀，對眾人說：“我小弟劉秀喜歡耕作，能夠餵飽一個人的肚子，跟漢高祖劉邦的哥哥劉仲不是很像嗎？”眾人譁然大笑。劉縯又說：“諸位如果能成大事，不要忘了提攜一下我的小弟。”眾人七嘴八舌，都在嘲諷他。劉秀臉漲得通紅，頓時醒悟：“天下大亂，醉心於田園牧歌、從事耕作不是長久之計。”於是，他用腳一踏禾苗，扔了鋤頭，憤然變色說：“大丈夫生長於天地間，你們能夠建功立業，我亦能名載史冊。”
當同齡的朋友都紛紛成婚聘娶、沉浸於家室之樂的時候，20歲的劉秀卻作出了另一個決定：西去長安，開拓視野、研習學問。
來到長安以後，劉秀成為許子威的學生，學習了《尚書》等當時最經典深奧的學問。劉秀生性聰穎，舉一反三，對這部闡述政事的著作有相當�