這些同宗之人分享朝廷權力。如此一來，呂氏自然也就失去了天下人的信任和支援，最終落得個身死族滅的下場。而今，將軍您同樣身居高位，聖上尚且年幼，正是需要倚重宗室力量的時候啊！依下官之見，將軍應當廣納宗室賢才入朝為官，並多多與諸位大臣共同商議國家大事，採取與呂氏截然相反的策略。唯有如此行事，方可避免重蹈呂氏的覆轍，免除將來可能會降臨的禍患吶！”
霍光聞聽此言，深以為然地點了點頭，表示對此番諫言甚是贊同。於是乎，他當機立斷，頒佈詔令，任命楚王劉交的孫子劉闢強擔任光祿大夫一職，併兼任長樂宮衛尉；同時，還讓宗室子弟劉長樂出任光祿大夫。
且說那輔佐昭帝的霍光，其人素來以沉穩持重著稱於世，平日裡甚少言語，行動之間更是從容不迫、謹小慎微。他身材高大，足足有七尺三寸之高，面龐白淨如玉，眉清目秀，尤其是那一撇美須，更是為其增添了幾分儒雅之氣。
他秉性端正，每次進出宮廷和下殿出門時，停步和行進的地方都有一定的位置，郎官和僕射暗中記下檢視，不差分毫。昭帝即位後，政令都由霍光釋出，天下人都盼望其一展風采，對他寄予了很高的期望。
在昭帝加冠禮後，仍委政於霍光，使十三年間“百姓充實，四夷賓服”。廢立皇帝元平元年（前74年）夏四月癸未日，昭帝駕崩，他沒有兒子。霍光迎立漢武帝之孫、昌邑王劉賀於同年六月即位。據說劉賀在進京途中派人掠取民間女子、財產，並讓其屬吏、家人都穿上刺史的官服，封官進爵，任其胡作非為。而且疏遠老臣，提拔自己的官屬。
霍光為此憂悶不已，向大司農田延年問計。田延年舉出伊尹廢太甲的先例，建議霍光廢帝。霍光於是暗中與車騎將軍張安世策劃商議，然後召集丞相、御史、將軍、列侯、在朝的二千石官員、大夫、博士等在未央宮共同商討此事。會上，田延年持劍力陳廢帝的緣由，群臣都叩頭，說：“天下安危都在於大將軍，我們將聽從您的命令。”霍光就與群臣一起去見上官太后，將劉賀不宜為帝的情況一一向太后陳述。
上官太后來到未央宮承明殿，尚書令宣讀群臣奏劾劉賀的奏疏，列舉其成為皇帝二十七日以來的種種罪狀。
據《漢書》記載，劉賀在位 27 天，幹了 1127 件荒唐事，平均每天干 40 多件。這些荒唐事包括：劉賀在漢昭帝駕崩後，沒有表現出絲毫的悲痛之情，反而在前往長安的路上，沿途尋歡作樂，甚至還出宮強搶個民女。鬧得滿城風雨，民不聊生。劉賀在進入長安後，沒有按照禮儀制度進行祭祀，而是在宮中飲酒作樂，甚至還在漢昭帝的靈柩前吹奏樂器。
劉賀在位期間，大量提拔自己的親信，排擠朝中的大臣，甚至還試圖改變漢朝的政治制度。大肆的將昌邑國的大臣全部提拔到長安為官，險些讓大漢朝政無法執行。劉賀在位期間，生活極其奢靡，後宮佳麗無數，甚至還與宮女發生不正當關係。
這些荒唐事引起了朝中大臣的不滿，最終在霍光的策劃下，劉賀被廢黜，成為了西漢歷史上在位時間最短的皇帝。
國不可一日無君，霍光在漢武帝的子孫中找了又找，沉默，怎麼全是些歪瓜裂棗啊，不是為非作歹，禍害鄉里的。就是暴戾恣睢，肆意打罵宮人，就是沒有一個靠譜的皇子。此時，一個宮人說掖庭局中還有劉據孫子，他的年紀正合適，於是漢宣帝劉詢登上了歷史舞臺。
自漢昭帝時期開始，霍光之子霍禹以及其侄孫霍雲皆獲任中郎將這一重要官職。而霍雲之弟霍山，則擔任著奉車都尉一職，負責侍奉於宮廷之中，並且統率著由胡人和越人等外族歸附而來的軍隊。
此外，霍光的兩位女婿分別出任東西兩宮的衛尉，守衛宮廷安全。不僅如此，霍光兄弟一輩的女婿和外孫們也都能夠入朝請安，同時還在各個官署裡擔任大夫、騎都尉以及給事中等職務。由此可見，霍氏家族及其親信、子弟在朝堂之上牢牢佔據著關鍵職位，勢力可謂盤根錯節、根基深厚。
每當霍光入宮朝見之時，漢宣帝總是展現出一副虛心求教的模樣，神情莊重肅穆，對待霍光更是禮數周到、恭敬有加，甚至常常對其禮讓三分。然而，儘管宣帝在表面上給予了霍光充分的信任，但實際上內心深處卻對他懷有深深的忌憚之意。
以至於當宣帝與霍光一同乘車出行時，都會有一種如芒在背般的不自在感。正是由於霍光本人功勳卓著、權勢滔天，已然到了功高震主的地步，從而為日後整個霍氏家族遭受滅門之災埋下了隱患的種子。〕