宋仁宗宅心仁厚、性情溫和，比較能剋制激情與慾望，注意克己復禮。但他並不是一個禁慾主義者，可以說相當好色。
景祐元年(1034年)，諫官滕宗諒上疏，對仁宗直言不諱地說：“陛下日居深宮，大開宴席，上朝時明顯精力不足，決策也不如以前高明瞭。”
監察御史裏行孫沔也上疏說：“一年之中，陛下花在國家大事上的時間有多少?那麼多事不管，退朝後就往深宮躲，不用想都知道去幹啥了。”
南京留守推官石介給樞密使王曾寫了一封信，其中說：“聽說皇上廢了郭皇后，寵幸尚美人，這事全國人都知道了。有人說皇上好色，整日只知吃喝玩樂，都沒個皇帝樣了。最近又聽說皇上的身體大不如前，都是這事鬧的吧。”石介寫這封信是希望王曾勸諫仁宗，他還說，如果仁宗聽了就算了，否則可以提出辭職，相信仁宗還不至於那麼糊塗。
滕宗諒、孫沔的奏疏與石介的書信均寫於景祐元年，談的都是仁宗好色的問題。可見當時許多人都聽到了仁宗“好近女室，漸有失德”的傳聞。
原來，景祐元年，垂簾聽政的劉太后去世未久，仁宗開始親政。劉太后在時，對仁宗管束極嚴，不許他親近美色。仁宗成年選後時看中了王氏，但劉太后認爲王氏太過妖豔，對他不利，硬將王氏嫁給她的侄兒，而將仁宗並不喜歡的郭氏立爲皇后。
劉太后去世後，仁宗堅決廢了郭皇后，大概打心底裏想要擺脫劉太后留給他的陰影。沒了劉太后的管束，仁宗開始縱情女色，時人說：“及莊獻(即劉太后)崩，上稍自縱。”
當時仁宗最寵愛尚美人與楊美人。尚美人自恃受寵，在仁宗面前編排郭皇后的不是，郭皇后得知，要打尚美人，仁宗趕緊勸架，結果郭皇后要打尚美人的一巴掌打到了他的脖子上。仁宗大怒，這才生了要廢郭皇后之心。
郭皇后被廢，尚美人與楊美人更是得寵，仁宗日日流連後宮，形容疲憊，食慾不佳，有時一天都不怎麼吃飯。這便是滕宗諒與孫沔相繼上疏、石介給王曾寫信的背景。
仁宗將出言不遜的滕宗諒外放信州當知州，將孫沔貶到永州監酒稅。不過，由於大臣與內侍閻文應都對仁宗寵幸尚楊二人一事喋喋不休，仁宗最後不得不將尚氏送出宮去，將楊氏別宅安置。
到了慶歷年間，將門之後王德用又給仁宗送了個美女，仁宗也很喜歡。諫官王素聽說後，直接找仁宗理論，要求他將美女遣送出宮。仁宗笑着跟王素商量了半天，王素也沒鬆口，最後只得依依不捨地將人送走。
嘉祐六年(1061年)，蘇轍在“制舉”考試的御試試卷上直接批評仁宗好色，不過仁宗並未怪罪他，反而對他的直言、敢言十分讚賞。
仁宗確實有點好色，有時還有縱慾之嫌，但大臣敢毫不客氣地提出批評，他對批評者頂多只是貶官而已，不會因此問罪。甚至迫於壓力，他還不得不將心愛的女子送出宮去，這就是那個時代的難能可貴之處。
