霍去病跟他的舅舅衛青一樣，當時他的母親還是平陽公主府的女奴叫做衛少兒，他母親與平陽縣小吏霍仲孺私通，但這位小吏不敢承認自己跟公主的女奴私通，於是霍去病只能以私生子的身份降世。雖然出生後的母親並沒有提到他私生子的事實，但是卻擋不住外人異樣的眼光，在這種環境中長大的霍去病，爲自己的出生而不齒，在霍去病的心裏，他對母親是又愛又恨，恨母親爲何要和男人私通又生下自己，恨自己的不光彩，又感謝母親帶他來到這個世界。
儘管對自己的家庭出身不怎麼滿意，但是舅舅的出現徹底照亮了他晦暗的人生。舅舅衛青同樣也是一個私生子，與霍去病極其相似的經歷，讓霍去病生髮出了“同是天涯淪落人”的感慨，霍去病在舅舅的身上看到了勇敢、果斷和意氣風發，他發誓也要像舅舅一樣，成爲一個鐵骨錚錚的英雄。心懷大志的少年，一直懷揣着這個夢想等待一個機會，在衛子夫當上皇后後，這個機會終於來了。
衛青在入宮後，深得皇帝的賞識，因爲自身表現出來的在行兵打仗上的天賦，在兵營和戰場上這種天分被髮揮到極致，衛青就像是一匹駿馬，一上戰場就很勇猛，無所畏懼一往無前。同時，也不是沒頭蒼蠅般的亂闖亂打，而是有計謀有軍事策略，每次都能直搗敵軍的腹地。衛青七戰匈奴沒有一次失敗，足見他的機制與勇猛，衛青就是爲戰場而生的。
以舅舅爲榜樣的霍去病，自然不甘心淪落爲一個無名小卒，他雖然此時不如舅舅有成就，但是他也很快在舅舅的影響下成長，迫不及待參與到首戰，迫不及待要在戰場上大顯身手，霍去病這位意氣風發的少年，憑藉出生牛犢不怕虎的勢頭，以快、準、狠的行軍多次立功，讓世人對這名少年，都刮目相看。
他和衛青發起的對匈奴的進攻性戰爭，改變了漢朝長此在對匈奴戰爭中的守勢狀態，一舉打敗匈奴。從而長久地保障了西漢北方長城一帶，也就是在漠南地區的邊境安全，此戰爲漢朝進擊匈奴最遠的一次。
少年郎，正是意氣風發的時候，也正是鮮血最滾燙的時候，炙手可熱的英雄怎會沒有人愛?想必仰慕這位少將的女子不在少數。然而，霍去病卻終生未娶。從十七歲到軍營到二十四歲，這短短的六、七年時間都在軍規十分嚴苛的軍營中度過，霍去病沒有更多的機會去接觸女人，短短六年裏六次出擊匈奴實行遠途奔襲，仗都打不過來，哪還有功夫娶老婆。
不過後世的記載中，的確也提到霍去病是有一個兒子的，這個兒子是他和他府上的一位侍女所生的，也是個私生子，叫做霍嬗。爲什麼霍去病不娶侍女爲妻?因爲霍去病看不起侍女的出身，根本就不會娶她，他只認了霍嬗，讓他做了自己的私生子。從這點看上去，霍去病又走了和母親同樣的道路，他對母親所做的事耿耿於懷，看不起母親更怕別人看不起自己，所以他對母親沒多大好感，更多是怨恨。因此霍去病本人看不起女人，究其根本根本都是源自他的母親衛少兒。
他對兒子霍嬗也是無感，生下來就放在舅舅家撫養，一直到霍去病去世，倆父子也沒怎麼見過面，更別提什麼父子之愛的話了。
霍去病死的時候霍嬗才四歲，漢武帝看在霍去病的份上讓這小孩繼續做冠軍侯，準備把他培養成第二個霍去病，後來漢武封泰山把霍嬗帶上山頂舉行了祕密的儀式，回去之後霍嬗就死了，死因不明，後世猜想是漢武帝想除掉霍家，以免除後患。
霍光的父親名叫霍仲孺，霍仲孺和平陽侯府中侍女衛媼之女衛少兒私通生下霍去病。霍仲孺在平陽侯家任務完畢返回家中，另娶妻子生下霍光，和衛少兒不再來往。因此，霍光和霍去病是同父異母的兄弟。
霍去病被封爲驃騎將軍後，將在家鄉的異母弟弟帶到身邊，後來推薦到漢武帝身邊做侍從，霍去病去世後，漢武帝懷念霍去病，將霍光升任奉車都尉、光祿大夫等職位，侍奉漢武帝左右，前後出入宮禁二十多年，未曾犯一次錯誤。因此得到漢武帝的信任，兩兄弟一個英年早逝，一個平步青雲，不知是喜還是悲。
