宋高宗做康王時，已經有了五個女兒，只有潘賢妃爲他生育了一個兒子，但也早天。建炎三年(公元1129年)，高宗逃難途中，仍然沉迷於聲色之中，某日白天與嬪妃行牀第之歡，突聞金軍前來，匆忙上馬逃跑，因此喪失了生育能力。雖然街醫想盡辦法爲他治療，但還是沒有任何希望。
紹興元年(公元1131年)，右僕射範宗尹、同知樞密院事李回、參知政事張守上虞縣(今浙江省上虞市)丞婁寅亮先後上書，請求於宋太祖系諸孫中挑選賢德的幼童過繼爲子，作爲皇位繼承人。此後，同是太祖趙匡胤的七世孫趙伯琮、趙伯玖分別被選入宮中，趙伯琮後改賜名爲趙瑗。紹興五年(1135年)，高宗封趙瑗爲建國公，令其讀書於專設的資善堂，實際上等於是皇子的待遇。
岳飛曾經在入朝時候，去過趙瑗讀書的資善堂，見過這個十歲左右的孩子，聰敏可愛，有着不同於同齡幼童的端正和大方。岳飛情不自禁地心裏默唸道：“國家中興希望，看來在他身上了。”
但是，宋高宗卻遲遲不立趙璦爲皇儲。他仍然抱有生子的幻想，這樣趙璦就可能隨時被廢。
面對這種局勢，宰執們大都贊成早日確立皇儲，反對者主要是秦檜。岳飛與軍中高級將領及幕僚們每當聊及確立皇儲這個問題時，因爲岳飛得到可靠情報，金國準備廢掉僞齊皇帝劉豫，改立被俘的宋欽宗的兒子趙諶爲傀儡皇帝，製造兩個宋國對立的局面。
趙諶曾經于靖康元年被立爲皇太子，按照傳統的觀念，他更具有當皇帝的“合法性”。那樣的局面一旦出現，不但對北方人民的心理產生影響，而且可能殃及南方，岳飛的抗金大業將面臨非常複雜的局面。
1137年秋天，岳飛在前往建康府的路上寫了一道建議立趙瑗爲太子的奏疏。
在與高宗見面時，岳飛說有一份重要的奏疏需要給皇帝，於是高宗讓岳飛宣讀。此時，岳飛突然想到了趙宋王朝歷來有防範武將干預朝政的祖宗家，聲音顫抖的讀完了這道建議立趙瑗爲太子的奏疏。
高宗耐心地聽岳飛把奏疏唸完，然後讓岳飛擡起頭來，仔細打量了幾分鐘，冷冷地說道：“一片忠心呀!但是你領重兵於外，這種事你怎麼能參與呢!”隨即讓岳飛趕快退朝。
岳飛出去之後，後脖頸子發涼，面如死灰，如鯁在喉。
當晚，高宗輾轉反側，一直睡不着，第二天早上高宗又急召宰相趙鼎進宮。高宗直接談昨日岳飛奏疏一事，惱怒地說：“岳飛不守規矩，怎麼能上這樣的奏疏呢?必須警告他，以後一定不能幹這樣的事了!”
趙鼎退朝之後，趕忙召見岳飛的幕僚，讓他們告訴岳飛：大將領重兵於外，豈可參與此類朝廷大事?一點也不避嫌。岳飛一個武人不知道此類規矩，估計是軍中幕僚們出的餿主意。回去告訴岳飛及下屬保全性命要處處小心!幹好自己的本職工作就行了!
攘外必先安內，這是宋太宗留下的名言。安內的一項重要謀略，就是時刻防範武將。南宋初年，高宗迫於內外交困的形勢，不得不讓岳飛、韓世忠等將帥居高位、掌重兵。但是，他與宰執大臣，不論是對投降派還是抵抗派，大多抱着不得不是必須防範的心態。立儲這類大事，如果奏疏出自文官，會被理解爲一片忠心，但出自武將的話就會被理解爲別有用心。
岳飛立儲之議，結果不僅未能推進皇儲問題的解決，反而更加深了他與高宗之間的矛盾。
