劉賀登基稱帝27天就被霍光以“行昏亂”爲由，廢黜他的帝位，並褫奪了他的昌邑王爵位。漢宣帝即位後，封劉賀爲海昏侯，移居豫章郡。爲什麼漢宣帝會做出這個決定呢?細究起來，其中藏着深沉的政治考慮。
一是出於安撫劉賀和羣臣的政治需要。身爲皇帝的劉賀被臣子霍光廢黜，在羣臣中引起了很大的非議。只是礙於霍光的權勢，羣臣敢怒不敢言。宣帝作爲劉賀的繼任者，如何處理好劉賀問題關係到他繼位的合法性問題。因此漢宣帝通過對劉賀四年的監視，確定他難以對其帝位構成威脅後，決定妥當安置劉賀。
二是豫章郡地處東南一隅，遠離帝都長安，可以最大化的消除劉賀的潛在影響。
三是在封劉賀爲侯的同時又限定劉賀不得參加劉家宗廟舉行的祭祖等各項儀式，使得劉賀無法對宣帝的皇位形成絲毫的威脅。漢宣帝在封授劉賀侯位時，也附加了一個苛刻的條件，即劉賀作爲“天之所棄”的廢帝，不得“奉宗廟朝聘之禮”。
這意味着剝奪了劉賀進京的權利，取消了他作爲劉氏子孫的身份。在這樣的情況下，劉賀只能在僻遠的海昏縣了此一生。
