像王莽、司馬昭等人，他們當年廢掉皇帝的時候，周圍的大臣都是支持他們的，就連後來殺皇帝，也沒多少人反對，畢竟大漢和大魏都只是靠慣性才勉強活着的，羣臣們心裏清楚的很，劉氏和曹氏早就該下臺了。
反觀霍光呢?他就差遠了。漢室未衰，羣臣都向漢，只不過因爲皇帝還小，需要一個大臣輔政而已。在這種情況下，霍光要是敢篡位，很可能要面臨全國各地的討伐，京城也會發生政變。
霍光權勢最隆的時候，就是廢劉賀爲昌邑王的時候，其實他的支持者並不多，主要就是大司農田延年、車騎將軍張安世兩人。
大將軍光與車騎將軍張安世謀欲廢王更立。議既定，使大司農田延年報敞。敞驚懼，不知所言，汗出洽背，徒唯唯而已。延年起至更衣，敞夫人遽從東箱謂敞曰：“此國大事，今大將軍議已定，使九卿來報君侯。君侯不疾應，與大將軍同心，猶與無決，先事誅矣。”延年從更衣還，敞、夫人與延年參語許諾，請奉大將軍教令，遂共廢昌邑王，立宣帝。——《漢書.楊敞傳》
田延年去找丞相楊敞商量，楊敞當場懵了，不敢表態，還是她老婆提醒他，你還是趕緊答應吧，這種大事不能留活口的，霍光既然告訴了你，你就已經沒有回頭路，不答應只有死路一條!於是，楊敞最終只能很不情願地同意了。
劉賀被廢黜之後，很多人都認爲霍光的權勢增加了。但實際上恰恰相反，霍光因爲拿刀逼着大臣支持他，這導致很多官員都對他投了不信任票，當宣帝登基後，相當多的大臣站在了宣帝一邊，幫宣帝壓制霍光。
所以實際上，因爲權勢的不牢固，霍光的廢立之舉反而讓自己的權勢降低了，侍御史嚴延年甚至敢公然向霍光發難，彈劾他廢皇帝一事。
這種事，在王莽和司馬昭面前是絕不會發生的，如果發生了，嚴延年不是殺頭就流放，可在霍光那個時代，他卻一點事都沒有，好多官員還很欽佩他。
面對羣臣的質疑，霍光也是沒辦法，只得表示歸政於宣帝，以示清白。宣帝對此自然是不敢接受，表示我還是信任你的，朝廷事務也不能離了你。於是，這件事情纔算是稍微平息了一點點。
不久之後，霍光想跟宣帝拉近關係，可是宣帝利用羣臣又整了霍光一次，搞得霍光在衆人面前很沒面子，這次事件就是立皇后。
霍光想讓漢宣帝娶自己女兒，這樣可以讓他從權臣變成外戚，給皇帝當岳父。但是漢宣帝堅決不同意，最後在羣臣的支持下，立了自己的糟糠之妻許平君。
隨着時間的推移，宣帝的年紀越來越大，支持他的大臣也越來越多，而霍光一黨，權勢也是越來越小。
霍光的左膀右臂都被廢了，田延年因貪污被逼死，張安世退居二線，霍光連自己的心腹都保不住，更別提篡位了。
