紹興五年（公元1135年），朝廷下令更改五支屯駐大兵的軍號，統一稱爲行營護軍。張俊軍稱行營中護軍，韓世忠軍稱行營前護軍，岳飛軍稱行營後護軍，劉光世軍稱行營左護軍，吳玠軍稱行營右護軍。岳飛作爲後起之秀，分別致書信與另外四位軍界大牌通好。這四位大牌反應各異。劉光世對帶兵打仗不感興趣，全身心投入到致富大業中，對岳飛的來信不置可否，由營中幕僚代寫的回信客客氣氣，完全一副公事公辦的樣子。韓世忠和張俊眼看着岳飛“以列校拔起”，短短几年，就與自己平起平坐，一直憤憤不平。他們對岳飛多次的書信通好都熟視睹，隱含敵意。岳飛平定了楊麼，將繳獲的樓船給他們每人獻了一座，上面的兵將和戰守的器械全套畢備。
張俊見了，火上加油，鼻孔像火車頭的煙囪，呼呼噴着粗氣，破口罵道，搞什麼搞！岳飛送來這個狼犺大傢伙來，分明就是要在我面前顯擺！而韓世忠的表現卻非常有意思，他破怒爲笑，搖搖頭，自言自語，這個岳飛，倒也會做人！岳飛派到韓世忠處的使者叫王忠臣（好名字！），王忠臣完成了任務準備告辭，韓世忠叫住了他，神祕兮兮地說:“你回去報告嶽宣撫，他的前妻劉氏現在就在我的軍營中，下嫁給了一個小隊長，如果嶽宣撫不忘舊情，可以派人來接她回去。”王忠臣回來將韓世忠的話密報給岳飛，岳飛沉吟不答。
人生有些事，不談是個結，談開了是個疤，心裏有座墳，葬着未亡人。可以想象得出，他對這個女人是又愛又恨。俗話說，一夜夫妻百日恩。而且，這個女人還爲他生下了雲、雷二子。可是這個女人終究不能長相廝守一生，因爲不堪寂寞，紅杏出牆，離家與人私奔，是可忍，孰不可忍？都說英雄無情，其實不是英雄無情，而是烈女難得。多少的柔情似水，幾多的耳鬢廝磨，經不起現實的一點點挫折，一點點磨難，或者一點點誘惑。哭倒長城、三千里尋夫的孟姜女只是一個神話；苦守寒窯、十八載盼夫的王寶釧不過一個傳說。
既然移情別嫁，那麼所有的恩情就已灰飛煙滅！續絃夫人李娃，雖說目不識丁，相貌平平，也是二婚，比自己年長兩歲，但是勤儉持家，孝順老人，憐恤嬰幼。第二天一早，岳飛叫來王忠臣，命他再回楚州（今江蘇淮安市），找到了那個小隊長，送上了五百貫，以資其家用。（岳飛的五百貫相當於現在的二十四萬人民幣）也不知韓世忠想搞什麼鬼，看到岳飛無動於衷，竟把這事兒上報給了趙構。趙構大爲好奇，專門下書詢問岳飛不接劉氏的原因。岳飛坦然奏道：“當初踏冰渡黃河之時，我留下妻子在家侍奉老母親，沒承想，她竟然一嫁再嫁，前後兩次改嫁他人，我恨之入骨，已派人送了五百貫錢給她補家用，現在聖上提起，岳飛直言相告，只擔心天下人不知其中原由，罵我爲負心漢子也。”
要說，換一般人，肯定咽不下這口氣。而以岳飛現在的身份和地位，他要想採取點什麼行動一泄當年戴綠帽子之憤，可謂輕而易舉，可是他並沒這麼做，而是饋贈巨資，情義之重，天地可鑑。軍界中第四位大牌吳玠的表現與其他三人截然不同，他對待岳飛，是英雄惜英雄，好漢愛好漢。和岳飛書信互往，使者相通。吳玠的使者發現岳飛衣着樸素，用度簡單。吃飯對飯菜也沒有什麼講究，席間更談不上什麼姬妾、歌童、舞女之類作陪，不由大爲驚奇。
要知道，當時的將帥，無論是劉光世、張俊、吳玠還是韓世忠，每人都是聲色犬馬，妻妾成羣。就連那個以道德楷模所標榜的李綱，也是過着極其侈靡的生活。史載：“李綱私藏，過於國帑，侍妾歌童，衣服飲食，極於美麗。每宴客設饌必至百品，遇出則廚傳數十擔。其居福州也，張浚被召，贐行一百二十盒，盒以朱漆銀鏤，妝飾樣致如一，皆其宅庫所有也。”
張俊甚至還曾爲了一個姓周的名妓爭風吃醋，拎刀子捅了趙氏宗室趙叔近，又將這個妓女轉手送給了韓世忠。那時，一夫多妾妻是常態，娶個小妾並不會涉及包二奶問題，這時韓世忠家裏已經“國夫人”、“郡夫人”、“淑人”、“碩人”一大羣，但他還意猶未足，垂涎於部將呼延通妻子的美色，強行姦污，逼得血性男兒呼延通自殺身亡。而吳階家裏更是蓄有美姬千百，軍務稍有閒暇，就縱情享受。（三年後，吳玠就因爲酒色過度，咯血而死。）
吳玠聽回來的使者述說了岳飛的清苦生活，不惜豪擲巨資，購來一個出身官宦的大家閨秀，配以八大箱籠的金玉珠寶作爲妝奩，敲鑼打鼓，從川陝出發，不遠千里送往鄂州（今湖北武昌），給岳飛作妾。因爲動作搞得太大，岳飛納妾的消息被傳的沸沸揚揚。幕僚黃縱“被檄差出”，出發前，軍中還沒有人知道吳玠要作媒的事，行走在路上，耳中已經盡是岳飛“納士族之女以爲妾”的新聞了。生得國色天香的名姝送到了鄂州（今湖北武昌）。岳飛正患目疾，用沾了水的紗巾敷在眼上，命人將女子安置在一間大屋，隔着屏風與之交談。
岳飛說：“我的一家老少都是穿麻布衣服，吃粗糧雜麪，你若能和我們一起同甘共苦就留下來，不能我絕不敢留。”話音未落，屏風後響起了一陣吃吃的笑聲，似乎對岳飛的說話大不以爲然。岳飛於是站起，說道：“看來，我留你不得了。”一邊的部將勸道：“你正準備連結關陝，爲什麼不借這個機會和吳玠交好？”
岳飛說：“吳玠太厚愛岳飛了，但國恥未雪，國仇未報，聖上睡不安枕，做大將的又怎麼偷閒取樂呢？”女子被無情地退了回來，大家都以爲吳玠會因此怨恨岳飛不近人情，豈料吳玠不但不以爲忤，反而更加敬佩岳飛。
其實，岳飛官居兩鎮節度使，每月的俸祿比宰相還高，每月有“料錢”四百貫、“祿粟”一百五十石、“公用錢”一千貫，另有鹽七石、羅、綾、絹、綿二十匹。此外，岳飛升節度使外，還封爵至武昌郡開國公，隨封食邑六幹一百戶，食實封二幹六百戶。有這樣豐厚的收入，岳飛真要過和韓世忠、劉光世、張俊、吳玠等人那種窮奢極侈的腐敗生活，又有何難？可是，岳飛從一介農夫走上了獨掌一方兵權的軍區司令員，仍以自己的信念、理想和抱負來嚴格要求自己，自始至終保持着簡樸的生活作風。
正可謂：唯大英雄能本色，是真名士自風流！在衣食行住各方面，岳飛表現得極其樸素。衣：平日只穿麻布，不着綢緞。有一次，妻子用家裏的繒帛做了一件衣裳，還未來得及穿，岳飛大發感慨地說：“我聽說被掠到北地的後宮妃嬪食不果腹，衣不遮體，你應該和我一同爲天下憂樂，不應該穿這種名貴服裝。”此言一出，全家人再不敢穿戴絲綢。
食：岳飛是北方人，大米難得，以麪食爲主，遷到南方，南方盛產水稻，可是岳飛還是不捨得吃米飯（白米比麥貴），家裏的日常食物依然是麥面加齏菜，很少沾腥葷。有時候宴請部屬，才偶加豬肉。有一次和部將會餐，桌上端上了雞肉，岳飛大爲詫異，找來廚師悄聲詢問：“這雞肉是從哪裏來的？”廚師據實回答：“雞肉是鄂州知州衙門送來的。”岳飛感慨道：“爲什麼要多殺生命？”立即勒令：“以後絕對不能這樣了”。還有一次，他到部將郝晸家作客，郝晸深知岳飛爲人，只安排了一種名叫“酸餡”麪食作爲招待。岳飛初嘗此物，覺得其雖鄙而味美，便認真地請教它的用料和做法，並把吃剩的打包帶家裏去。他這種節儉行爲，讓衆人驚慚不已。
行：岳飛對自己的言行舉止要求極其嚴格，他常常說：“某被主上拔擢至此，倘有纖毫非是，被儒生寫在史書上，萬世揩改不得。”嚴於律己之外，他對兒子們的管教也極其嚴苛。他激勵兒子們要從戎報國，刻苦讀書，每當閒暇，還親自帶領着他們到田圃裏扶犁握鋤，操持農務。岳飛是這樣教導兒子們的：“種植艱難，你們不能沒有體會。”
住：爲了籠絡人心，趙構曾經向岳飛承諾，要在臨安府爲他打造一座豪宅。岳飛當即就借用了漢朝霍去病的話進行堅拒：“北虜未滅，臣何以家爲！”岳飛的回答讓趙構大爲激賞。因爲他清楚地知道，其他四大將中最“清廉”的韓世忠不但擁有了江南西路臨江軍新淦縣大片田宅，還收購了北宋名奸朱勔的平江府（今蘇州）南園和一千二百畝水田以及著名的永豐圩。而岳飛只在江州（今江西九江市）城蓋造和購買了一些房廊、草屋和瓦屋，這些房地主要的用途還是用來救濟其故里湯陰縣前來投親的難民。
