很多人都想知道當年霍光權傾朝野，權利大到甚至可以廢黜皇帝，但是為什麼他一去世霍家就敗亡了？這其中當然有人走茶凉的原因，但更重要的理由是，霍家沒有有能力的繼承人。
霍光一生輔佐了三個皇帝，立了兩個皇帝，廢黜了一個皇帝。外孫女和女兒都是皇后，自己老婆還殺掉了原本的皇后。與他相比，曹操在控制皇帝方面似乎遜色不少：曹操“挾天子以令諸侯”，卻沒有廢掉漢獻帝，只殺了獻帝的一比特皇后和一比特妃子，但是把自己的三個女兒都嫁給了皇帝。
雖然霍光比曹操更會控制皇帝，但是他的年齡是其最大的劣勢。他在漢武帝時代為官，死於西元前68年。劉詢，在西元前74年成為皇帝，一直活到西元前48年。
並且在漢宣帝做皇帝、霍光做大將軍大司馬的六年時間裏，客觀上，霍光延續了昭帝時期的執政理念，實行寬大政策，與民同樂，為國家經濟的恢復做出了相當大的貢獻。
然而，在這個時期，一個龐大而强大的外戚集團已經形成，霍光是劉弗陵時期的實際統治者。兒子霍禹、侄孫霍雲都擔任了中郎將，另一個侄孫霍山擔任奉車都尉，掌握兵權，兩個女婿直接領有宮廷禁軍，外孫女上官氏是昭帝的皇后，許多親戚都得到官職。
劉詢，這個在民間成長起來的少年，既沒有執政經驗，也沒有政治團隊，所以他對掌權的霍光不得不十分恭敬：各種事務都要霍光請示，才能正式下達命令。
劉詢並不是沒有主見的人，他也不是不想重新獲得實權。為了奪取政權，他做了一個試驗：在眾多大臣建議由霍光的女兒霍成君做皇后的情况下，劉詢不置可否，而是硬生生提出了一個要求：“我在民間用過一把劍，對它有很深的感情。誰能幫我拿回來？”
大臣們一聽紛紛改變了主意，建議劉詢的原配許平君做皇后。在皇帝和權臣的鬥爭中，劉詢取得了小小的勝利。雖然那個時候的他還不知道，這次的勝利是要付出心愛之人的生命，這般慘痛的代價。
霍光夫人賄賂大夫，毒死了懷孕的許皇后。雖然大夫被捕入獄，但霍光對此事進行了壓制，禁止任何人深究。劉詢看到了霍光家族的實力，在他的身邊是如此的肆無忌憚。他瞬間明白了權力的差距，所以不得不隱忍，封霍成君為繼後。
所以在劉詢當皇帝的前六年，過的就是傀儡一般的生活。事情到霍光病重才發生了轉機，宣帝之所以願意忍受多年，不僅是因為霍光的强大，也是因為他的兒子中沒有出類拔萃的人才。
霍光死後，宣帝就開始培養許、史兩家，調整了霍家人的職位，次年立許皇后所生的兒子為太子，極大的削弱了霍家的勢力。霍家失去了領頭人霍光，當年又毒死了宣帝的最愛，此刻如熱鍋上的螞蟻惴惴不安，後來决定還是先下手為強，起兵反叛。
劉詢心下對謀反之事非常清楚，明面上卻不動聲色。他沒有立即動霍家的人，而是逐步解决了與霍家往來密切的家族。果不其然，霍家失敗，後來霍雲、霍山等人自殺，霍禹、霍顯被處死，霍成君也被廢黜幽禁，最終自殺。
霍光文武雙全，才智過人。但是霍家子弟們既輕率，又暴躁，缺少謀略，不够冷靜，更談不到睿智。碰上劉詢這樣的高智商對手，霍家覆滅是情理之中的事情，一點也不讓人意外。