1950年3月，胡宗南黯然來到臺灣，暫且安身在花蓮。這時，當年曾統帥40萬大軍的他，身邊只剩下了6名隨從。
失敗的陰影，前途的渺茫，都讓胡宗南的心情極爲低落。到花蓮後，他時或出去散心，他在王曲軍校的學生孔令晟則伴隨着他。有一天，胡宗南走過花蓮體育館，來到海邊，“突然”對孔令晟說：“我們應該在什麼地方自殺啊?這裏真沒有意思啊!”
孔令晟回答：“要自殺，不如在成都，可以跟我們的部隊一起自殺;到了西昌就沒什麼意思了，部隊已經沒有幾個人了。”
在此時的臺灣，不僅僅是胡宗南一個人感到“沒有意思”，與他處於相似境地的還有閻錫山、白崇禧、湯恩伯、孫立人、薛嶽……時任“代總統”的李宗仁雖然沒有和他們一樣去臺灣，而是去了美國，但境遇的落寞則是一致。當年手握重兵的他們，如今不但成了敗軍之將，失去了叱吒風雲的舞臺，甚至還會面臨來自國民黨內部的人身威脅。
不過，雖然他們所處的環境差不了多少，但各人的反應卻是不同，有的從容處之，有的卻侷促不安。
“我們不應該到這裏來”
在花蓮，當自殺的念頭閃過後，胡宗南對他的部下說：“我們不應該到這裏來。”此時，面對浩瀚的太平洋，他仍對自己的部隊念念不忘。在他的第一軍中，許多將官都是他一手從王曲軍校帶出來的，而這些人大都已在川西零落殆盡。
根據王曲軍校學生徐枕的說法，胡宗南原本是打算留在西昌的，當時蔣介石讓他飛往臺灣，但是他不肯走，而是對部下說：“今天我跟你們喝一杯，送你們走。”最終，胡宗南是被部下“拉”上飛機的。
然而到了臺灣，他的厄運並沒有結束。剛剛飛到臺灣時，蔣介石和陳誠都沒有見他，到了花蓮，也沒有人來看望他。不僅僅如此，失去了部隊的他，現在甚至要爲整個國民黨政府的失敗負責。
1950年5月，臺北“監察院”內，45名“監察委員”氣勢洶洶地聯名彈劾胡宗南。這一篇洋洋數千言的彈劾文在列舉了胡宗南進駐陝甘後的權力膨脹後，又歷數了他在西北、四川的一連串敗績，認爲國民黨政府之所以會“失去大陸江山”，胡宗南“應負重大之罪責”。
這一場彈劾案迅速在小小的臺灣掀起軒然大波，來臺的胡宗南部屬憤憤不平，要到“監察院”去鬧事，但都被胡宗南壓了下來，他認爲，是非自然會有公論，“假如應該我負的責，我當然要負責。”
領軍多年的胡宗南，在這個時候表現出了常人少有的鎮靜。最終，這一場彈劾案在各方面的斡旋下不了了之，使胡宗南避免了“軍法會審”。
但是，經歷了這一場風波後，胡宗南那“西北王”的歷史也徹底劃上了句號。正如他認爲國民黨之敗不屬個人責任，而是整個體系的失敗一樣，蔣介石也是這麼認爲的。於是，敗退到臺灣後的蔣介石迅速對國民黨展開了“改造”，全面更換舊的黨政系統，原有的黃埔、中統、CC、政學系等皆被清除，一批完全擁護蔣介石、蔣經國父子的新實力派被培養起來，這其中最爲得力者即爲陳誠的“土木系”。
那些國民黨的“老人”們，則在這一場“改造”後幾乎全部失勢。胡宗南再也得不到蔣介石的重用，只一度擔任了大陳島“浙江反共救國軍”總指揮和澎湖防衛司令等職。雖然職位並不突出，但是胡宗南做得很認真，並短暫登上大陸的土地。
但是胡宗南和他的家眷、部屬是再也沒有機會真正回到大陸了。在擔任澎湖防衛司令時，每次領到薪水，他只留1/3給自己和家人，其餘的幾乎都給了部屬，以維持他們的生計。後來其部屬王應文的兒子回憶說，那時有人到胡宗南家裏去，坐沙發都要小心，因爲“那個沙發太舊太爛，一不小心會給他坐搖晃”。
1962年，胡宗南66歲，這一年春節期間，他因心臟病發作，病逝於臺北榮民總醫院。他的王曲部屬們，則每年爲他舉行低調的紀念儀式。
