霍光作爲漢武帝的託孤大臣，掌權近20年，爲漢室安定和中興建立了功勳。他一生輔佐三位君主、擁立兩位君主、廢黜一位君主，可謂聲名顯赫。但身死之後，又遭滅門之禍，不得不令人唏噓。
霍光是霍去病同父異母的弟弟，靠着這層關係，當上了漢武帝的親隨。他處處小心謹慎，贏得了皇帝的信任。雖然僅僅只是一個“奉車都尉”，但漢武帝讓他去輔佐幼子劉弗陵，還專門把周公負成王朝諸侯的畫賜給他，意思是要他像周公那樣輔佐好劉弗陵。
漢武帝去世後，劉弗陵即位，史稱漢昭帝。霍光掌握朝廷大權，“政事一決於光”。劉弗陵的哥哥燕王劉旦串通同爲託孤大臣的上官傑、桑弘羊等人圖謀不軌，結果霍光先發制人，誅殺上官傑、桑弘羊等人，劉旦自殺身亡。自此，霍光獨掌朝廷大權，他的兒子、女婿、侄子等也紛紛擔任要職，“黨親連體，根據於朝廷”，霍氏一家可謂權傾朝野。
漢昭帝在位13年，21歲去世，沒有留下子嗣。霍光力排衆議，擁立昌邑王劉賀(即後來的海昏侯)爲帝。從輩分上來看，劉賀是漢昭帝的侄兒，繼承皇位也算名正言順。但更重要的是劉賀年輕，便於控制。據說劉賀行事荒唐，結果霍光以太后的名義，宣佈廢黜劉賀，將他趕回封地昌邑。當霍光把廢黜決定向宰相楊敞通報時，楊敞竟然驚嚇得“不知所言，汗出洽背”。還是他夫人頭腦清楚，對楊敞說：“君侯不疾應，與大將軍同心，猶豫無決，先事誅矣。”
廢黜劉賀後，霍光另立已故戾太子劉據的孫子劉病已(後改名劉詢)爲皇帝，這就是漢宣帝。劉病已早年經歷非常悽慘，剛出生時就遇上“巫蠱之禍”，祖父劉據和父親等都死於非命，襁褓之中的劉病已被投入大牢。劉病已即位後，增封霍光一萬七千戶，加上原來所封，食邑達到二萬戶;霍光上朝時，更是“虛己斂容”，以示尊重。此時的霍光，真可謂位極人臣了。
其實，早在霍光輔佐漢昭帝即位之初，就有人勸誡他，要汲取漢初呂氏家族專權的教訓，霍光當時也表示接受。廢黜劉賀後，侍御史彈劾他“擅廢立主，無人臣禮，不道”，霍光也並未追究。霍光還曾向漢宣帝表示要“稽首歸政”，但未獲皇帝採納。應該說，霍光還是有所警覺的。不過，在立後一事上，他最終因私心而鑄下了大錯。
漢宣帝即位之初，霍光和他的夫人霍顯就想讓自己的小女兒霍成君當皇后，但漢宣帝還是立了自己的結髮妻子許平君爲皇后。不久，許皇后生病。霍顯竟收買女醫在藥裏下毒，害死了皇后。霍光得知後大爲吃驚，一度想主動坦白，但猶豫半天還是將此事瞞了下來。事後，霍成君如願當上了皇后。
3年後，霍光因病去世。漢宣帝念他的擁立之功，對其家人依然給予優厚的待遇，但霍氏家人沒有收斂。漢宣帝立許皇后所生的兒子劉奭爲太子，霍顯得知後竟然叫霍皇后去毒死太子，結果在保姆等人的保護之下才未能得逞。
漢宣帝對霍家的種種不法行爲是心知肚明的，但由於霍光的兒子、侄子和女婿等都被安插在要害部門、掌握軍政大權，一時難以下手。不久，在一衆大臣的幫助下，以明升暗降的方式，收回了霍氏家人控制的兵權。然後，借許皇后之事發難，霍氏一門被滅，與霍氏相連坐誅滅者達數千家;霍皇后也被廢打入冷宮，12年後自殺。
司馬光在評論時說了這樣一段話：“霍光之輔漢室，可謂忠矣;然卒不能庇其宗”，原因就在於他“久專大柄，不知避去，多置私黨，充塞朝廷，使人主蓄憤於上，吏民積怨於下，切齒側目，待時而發”。
