一句“匈奴未滅何以家爲”，讓霍去病在中國歷史上留下了一個最強音。然而，不爲人知的是，在霍去病身上，也有不少缺點，比如生活奢侈、鋪張浪費，不愛惜士卒。並且在正史上是有明確記載的。
《史記》記載：然(霍去病)少而侍中，貴，不省士。其從軍，天子爲遣太官齎數十乘，既還，重車餘棄粱肉，而士有飢者。其在塞外，卒乏糧，或不能自振，而驃騎尚穿域蹋鞠。事多此類。
司馬遷寫的這段文字，意思是說(霍去病)很小就當上侍中，被寵慣了，並不關心士兵。他率軍隊出征，武帝派遣太官贈送數十車食物給他。回來時，膳車丟棄了多餘的精米肥肉，但與此同時士兵中卻還有人在捱餓。在塞外(作戰)的時候，士卒缺乏糧食，有的餓得直不起身子，但霍去病卻還在踢球娛樂。
從上面這段記載，我們可以看出，霍去病行軍打仗固然所向無敵，但是他做不到對士兵噓寒問暖，明明還有士兵沒吃飽，他卻將自己吃不完的精美的膳食扔掉;霍去病甚至經常在士兵缺少糧食，忍飢挨餓的時候踢球玩耍，毫不關心下屬。
以現代人的視角，客觀的來看，當時的霍去病的年齡只有20歲左右，並且沒怎麼吃過苦，無法感同身受的爲底層士兵着想，霍去病少年時期在皇宮中長大，他並沒有經歷過底層人民的生活，可以說不知道民間疾苦。不體恤士卒也就難免了。
也許這一切都因爲也許是霍去病太年輕，沒有想到這一層，但是無論如何，終究是霍去病的一大缺點，這個缺點霍去病到死也沒有改正。
