劉弗陵繼位後，由於年幼需要照顧，霍光安排他唯一的姐姐鄂邑公主在宮中擔任長公主，照料他的生活。鄂邑長公主憑藉長期的照顧權力逐漸壯大，霍光和上官桀都對她非常重視，與她的關係十分密切。
過了一年多，金日磾因病去世，只剩下三個輔政大臣。霍光的大女兒嫁給了上官桀的兒子上官安，兩家成了姻親關係，也形成了同盟。而桑弘羊與霍光的關係並不友好，兩人關係緊張，桑弘羊只能在暗地裏與霍光對抗，但總體上處於劣勢。
公元前83年，劉弗陵已經十二歲，按照漢朝早婚的風俗，他差不多可以結婚了，長公主開始爲他挑選皇后人選。
長公主有一個情人，名叫丁外人。丁外人與上官安關係密切，而上官安與霍光的大女兒生下一個女兒，所以上官安讓丁外人去找長公主說情，希望立上官氏爲皇后。長公主當時以爲上官氏是霍光的外孫女，認爲霍光會非常同意這個提議，但霍光卻堅決反對。他擔心上官氏年幼且是上官家族的人，一旦成爲皇后，上官家族的勢力就會超過自己。
然而，長公主堅持要立上官氏爲皇后，並迅速迎接上官氏入宮。上官氏最初被封爲婕妤，不久後正式冊立爲皇后。這件事讓霍光內心非常不快。後來，上官安爲了回報長公主，上書請求封丁外人爲侯，但霍光以無功不封侯爲由拒絕了這個請求。這使得他與上官家族和長公主的關係出現了裂痕。同時，桑弘羊計劃讓自己的幾個親戚入朝任官，也遭到了霍光的拒絕，加劇了他與霍光之間的矛盾。
