岳飛一共有五個兒子，其中長子岳雲一直被認爲是岳飛的養子，然而這個說法其實是一個誤解，在《金佗續編》卷中清楚的記載着，當岳飛案平反昭雪時，岳雲的妻子上書稱“並系阿翁樞密親孫”。岳雲、嶽雷的兒子都是岳飛的親孫子，這意味着岳雲也是岳飛的親生兒子，而非養子，感興趣的讀者可以跟着小編一起往下看。
《建炎以來朝野雜記》乙集卷一二《嶽少保誣證斷案》中亦稱“岳飛次男嶽雷”，嶽雷是此男，那岳雲則無疑就是岳飛的長男了，這與岳雲是岳飛養子的說法完全衝突。
很明顯，岳雲就是岳飛的親生兒子，養子說法只是一個誤傳。不過，好生生的爲何會出現這個誤傳呢?這恐怕與岳飛的第一任妻子有關。
岳飛的結髮妻子劉氏是他十六歲時父母包辦所娶的，兩人婚後生有兩子，分別是岳雲和嶽雷。岳飛年輕時並不出名，但他在母親的教導下，懷有精忠報國的愛國思想，因而成年後便參軍抗金。當時天下大亂，金軍南下，北宋滅亡，南宋臨時政權不斷潰敗，連岳飛的家鄉也爲金軍席捲，因此岳飛失去了和家人的聯繫。
數年後，岳飛已經於沙場上搏殺立功，嶄露頭角，執掌兵權。這個時候岳飛和家人已經團聚，唯獨不見髮妻劉氏。不久後，韓世忠的部下出使岳飛，給他送來韓世忠的口信：“傳語嶽宣撫，宣撫有結髮之妻，見在此中嫁作一押隊之妻，可差人來取之。”
韓世忠告知岳飛其妻子嫁給了自己所部的一個小吏，讓岳飛來認領。岳飛聽聞後沉默不語，沒有答覆，且最終沒有將髮妻劉氏帶回。
妻子嫁給他人自然不是一件開心的事情，尤其是對於一代名將岳飛來說。可是結合那個時代背景，天下大亂之際，家中的頂樑柱參軍抗金，戰亂波及下，一介弱女子想要求生，何其不易，爲了求生嫁給其他人也無可厚非。岳飛身爲大將，就這樣拋棄了劉氏，似乎有點絕情了。其實不光後世人這麼想，就連皇帝趙構聽說了也覺得岳飛這事做得不太地道，專門召他上殿詢問他爲何拋棄髮妻。
岳飛答曰：“履冰渡河之日，留臣妻侍老母，不期妻兩經更嫁，臣切骨恨之。已差人送錢五百貫，以助其不足，恐天下不知其由也。”(《三朝北盟會編》)
原來，岳飛對劉氏早已厭惡，其中的緣由不是劉氏給他戴帽子，而是劉氏沒有侍奉他的母親。岳飛是一個大孝子，他臨行前專門囑咐劉氏，讓她務必將母親照顧好。可是岳飛渡河與家人失散後，劉氏竟然將岳飛的母親和孩子全部拋棄，兩次改嫁給他人。
劉氏於亂世中不容易，但年邁的岳母更不容易。劉氏若不想擔照顧岳母的責任，儘可以早告知岳飛，以岳飛的氣量定不會爲難於她。劉氏沒有說，但在岳飛走後，她又將岳母拋棄，嫁於他人。
正因爲如此，岳飛對於劉氏不僅是厭惡，心中還帶着恨意，“切骨恨之”四個字，在岳飛口中是很少說出來的，尤其是對於曾經的結髮妻子說出這樣的重話，可想而知岳飛當時的心情。
而且，岳飛也並非完全冷血絕情，他在得知劉氏嫁給韓世忠的一位部下後，便差人送錢五百貫。送錢代表着岳飛與髮妻劉氏徹底恩斷義絕，兩人互不相欠，也再無干系。岳飛送去的這些錢並不算少，完全夠劉氏一家人富裕的過完一輩子，所以劉氏並非晚景淒涼。
其實，從岳飛選擇的第二任妻子的性格也可以看出，岳飛不可能喜歡劉氏。
岳飛所娶第二任妻子名爲李娃，字孝娥，她人如其名，侍奉岳飛的老母親十分孝順，處理家事很有禮度。而且李娃與岳飛結識於戰亂，兩人經歷過生死，李娃還是一位懂軍事的賢內助，每一次出征前，李娃都會以岳飛夫人的身份去探望岳飛部屬的家人，陣亡的將士親屬們也都會得到李娃的特殊關照。岳家軍能夠有強大的凝聚力，李娃功不可沒。
李娃對岳雲和嶽雷視如己出，對他們悉心照料，兩個孩子對後母李娃的感情比生母劉氏的還要深得多，畢竟劉氏在生下他們不久後就改嫁了。
趙構和秦檜冤殺岳飛和岳雲後，岳家沒了頂樑柱，李娃帶着嶽雷和三個親生兒子被流放到嶺南。這裏環境艱苦，但李娃仍堅持將岳飛的後人撫養成人，這纔等到了岳飛平冤昭雪，並留下了岳飛的血脈。
有李娃這樣的賢內助，岳飛就更不可能將拋棄老母親而嫁於他人的劉氏找回來了。所以岳飛纔會那樣絕情，送去錢財和劉氏一刀兩斷。至於劉氏嫁於韓世忠部下後，其生活如何，最終的結局又是什麼，由於史書上沒有任何記載，所以我們終究不得而知。
