南昌海昏侯漢墓的出土，使得劉賀這個同時兼有帝、王、侯三重身份的特殊歷史人物，一時步入公衆視線。他出生到去世，恰好經歷了西漢王朝從巫蠱之禍到昭宣中興的一系列重大歷史進程，並一度有幸參與到政治中心舞臺，成爲觸及帝國中樞的關鍵人物，卻又天有不測風雲，短短數十天後即被歷史無情拋卻，僅僅作爲中國歷史上第一個被大臣廢掉的皇帝，以昏庸無道的罵名留名於史冊。
劉賀之父，首任昌邑王劉髆，是漢武帝寵妃李夫人之子，大約生於太初元年(公元前104年)。
在漢武帝晚年的巫蠱之亂中，漢武帝對太子劉據一黨大開殺戒，皇后衛子夫被逼死，諸邑公主和陽石公主被處死，劉據的姨父丞相公孫賀被滅族、劉據的表弟、衛青長子長平侯衛伉被殺。劉據自己和三個兒子一個女兒都遇害，只有一個孫子劉病已，因爲出生數月人在襁褓，才逃過一劫，作爲全國年齡最小的政治犯進了監獄。
而當時劉髆舅父李廣利爲大將領兵，李廣利的親家劉屈氂爲漢朝丞相，一時成了最大得益者。兩人相約合謀，要將劉髆扶上太子之位。
可僅僅一年後，漢武帝察覺他們圖謀，劉屈氂同樣以巫蠱罪被殺，劉屈氂、李廣利兩家被滅族，李廣利在出征途中得知凶訊，舉兵降了匈奴，不久被殺。劉髆也因此被漢武帝所厭棄，徹底斷絕了被立爲皇儲的可能。三年後(公元前87年)，年僅二十三歲的劉髆鬱鬱而終，漢武帝賜給他一個“哀“字的諡號，年僅6歲的劉賀繼承了昌邑王位。
同年，漢武帝病死，尚有廣陵王劉胥、燕王劉旦、幼子劉弗陵三個皇子，而劉賀作爲皇孫，繼承權遠了一層，並無被迎立可能。武帝因不喜劉胥、劉旦，讓幼子劉弗陵爲太子，即漢昭帝，並託孤於大臣霍光，令其與金日磾、上官桀、桑弘羊等幾大臣輔政。
昭帝時期，金日磾早死，霍光先後殺桑弘羊、上官桀父子、燕王旦、鄂邑長公主等，徹底大權獨攬，昭帝形同傀儡。
霍光甚至連昭帝的宮闈之事亦橫加干涉，只許他與自己外孫女上官皇后生子。爲了能生下帶有霍氏血統的皇子，他還在中國歷史第一次發明了女性內褲，強令昭帝的那些妃嬪和宮女穿上，禁止她們和昭帝同寢。可見對其人來說，重要的從來是他自己的攝政權柄。
十二年後，漢昭帝早死且無子，皇位第一繼承人，原本應是此時他唯一在世的親兄弟，漢武帝唯一活着的皇子，廣陵王劉胥。
對霍光而言，爲王多年的劉胥有自己在廣陵國的一套政治班底，難以操控。更重要的是，如劉胥繼位，霍光的外孫女上官皇后只是他的弟婦，就肯定不能當皇太后。霍光就沒有了以後宮權柄來壓制皇權的渠道，所以【內不自安】。
因此，霍光在朝中衆黨羽的支持下，強行找了個劉胥「本以行失道，先帝所不用」的藉口，將劉胥和劉胥的子孫都排除於繼位人選之外;而燕王劉旦已獲罪自殺，他的幾個兒子當然也不可能是繼位人選，因此皇侄、昌邑王劉賀就成了離帝系最近的繼承人。
