幾個月后，樊夫人到了臨盆的日子，可是過去了很長時間，都沒有將孩子生下來，劉欽急得團(tuán)團(tuán)轉(zhuǎn)。穩(wěn)婆說接生的房屋陰冷潮濕，不利于順產(chǎn)。劉欽擔(dān)心母子的安危，趕忙想著哪有合適的地方能讓夫人順利將孩子生下來。忽然，他想到縣丞提過濟(jì)陽城外有座行宮，是漢武帝出巡時下榻的地方，那里地方大，通風(fēng)，溫暖，利于順產(chǎn)。這座行宮一百多年沒人住過了，今天且斗膽用它一用，但千萬不能讓別人知道，私用皇帝行宮可是掉腦袋的大罪。眾人趁著夜色，將樊嫻都偷偷拉到了行宮。樊嫻都在劉氏先祖的行宮里終于順利地生下了孩子—一個健壯可愛的男孩。大家都松了口氣。

看著眉目俊朗的小家伙，劉欽欣喜異常，該給兒子取個什么樣的名字呢？劉欽眼前忽然浮現(xiàn)出幾個月前的祥瑞嘉禾，為人父誰不希望自己的兒子有一番作為？于是，幼子的名字就被取為劉秀，正是應(yīng)那嘉禾之兆。

幾年后，劉欽調(diào)任為汝南郡南頓縣（今河南沈丘西）縣令，也只是平級調(diào)動。在南頓，樊嫻都又給劉欽生了個女兒劉伯姬。劉秀就在南頓和小妹妹伯姬度過了一段難忘的童年時光。

哀帝稟政六年，年僅二十六歲便撒手西去。九歲的平帝即位，不能掌權(quán)，安漢公王莽又被請回來執(zhí)掌朝政。天時不濟(jì)，青州鬧蝗蟲，災(zāi)及汝南郡，災(zāi)民流離失所。劉欽思慮國事家事，身心交瘁，一病不起。漢平帝元始三年（公元3年），劉秀九歲的時候，劉欽因積勞成疾，在南頓縣令的任上去世了。

劉欽的死對家庭的打擊是非常沉重的。從此失去生活來源的母子沒有辦法在南頓待下去了，樊嫻都便在小叔子蕭縣令劉良的護(hù)送之下，帶著劉秀和劉伯姬回到了家鄉(xiāng)——舂陵。在舂陵的樊嫻都根本無力撫養(yǎng)六個子女，最后還是劉良決定，他帶著劉縯、劉仲、劉秀三兄弟去蕭縣，讓他們在當(dāng)?shù)刈x書，樊嫻都領(lǐng)著三個女兒在舂陵勉強(qiáng)度日。

劉秀和哥哥們跟著叔父在蕭縣生活了好幾年，隨著他們年齡的增長，劉良的生活愈加困難，弟兄們不忍心再拖累叔父，就回到了舂陵老家務(wù)農(nóng)。

劉秀性情溫和，喜歡在田野間嬉戲，時間長了，漸漸對農(nóng)桑稼穡產(chǎn)生了濃厚的興趣。哥哥劉縯的性格與劉秀恰恰相反，對田園生活毫無興趣，只喜歡交朋結(jié)友、弄俠使氣，養(yǎng)著不少鄉(xiāng)間豪悍的少年做賓客。他對弟弟與世無爭的生活態(tài)度很看不慣，常常笑話他沒有出息，天生是個做農(nóng)夫的材料，與劉邦的兄長劉仲頗為相似。

在劉家兄弟過著田園牧歌式的生活的同時，漢王朝卻早已岌岌可危，朝政長期把持在外戚王氏手中。王莽則是此時王氏家族的代表，他是漢元帝的皇后王政君的侄子，公元前1年，王莽做到了大司馬錄尚書事，登上了一人之下萬人之上的位置。他先后通過大封官爵、擴(kuò)太學(xué)、改革賑災(zāi)等措施取得了地主豪強(qiáng)、文人以及百姓的支持。這時皇帝的名號雖然還在劉氏的頭上，但是實(shí)際上已經(jīng)成了王莽的傀儡。劉氏一族自然不愿意失去劉家的天下，公元6年，安眾侯劉崇起兵反對王莽，公元7年，身居?xùn)|郡的劉信也起兵反莽，但他們先后被王莽鎮(zhèn)壓了。

公元8年，王莽廢掉了漢皇帝，宣布由自己即天子位，國號為新，以王氏皇朝取代了劉氏皇朝。開始王莽還拉攏善待劉氏，但到了新始建國二年（公元10年），篡奪漢政的王莽，唯恐劉姓余波再起，干脆收回漢諸侯王璽綬。劉姓諸侯王32人、列侯181人同日遭貶，廢為庶人。王莽廢漢，劉氏的皇族身份沒有了。劉良的特權(quán)地位不復(fù)存在，只有回老家和劉秀兄弟務(wù)農(nóng)。從此，他們開始過起了老百姓的生活，親身體驗(yàn)農(nóng)民的困苦和艱辛。