八百壯士在四行倉庫孤軍抗戰，引起了上海公共租界當局的不安，他們害怕戰事的繼續會危及租界安全，要求中國政府下令孤軍撤退。中國軍事當局考慮到預定任務已經完成，乃於31日命令孤軍撤退。謝晉元接到命令後，當即代表八百壯士表示：全體官兵早已立下遺囑，誓與陣地共存亡，但求死得有意義，但求死得其所!後經再三電令，八百壯士才揮淚表示執行命令，退入租界。
第88師副師長馮聖法、參謀長張柏亭，上海市政府祕書長俞鴻鈞，上海警備司令楊虎等爲安排孤軍撤退，曾同負責租界駐軍的英軍司令斯馬萊特進行交涉，雙方達成協議：由英軍壓制日軍火力，孤軍通過西藏路，從新垃圾橋進入租界，然後搭乘英軍汽車到滬西歸隊。31日凌晨，謝晉元率孤軍開始撤退。壯士們敏捷地衝出大樓，由新垃圾橋進入租界。謝晉元自己最後一個離開倉庫陣地，楊瑞符營長身負重傷，住院治療。
謝晉元率八百壯士成功地撤出四行倉庫，退入租界，正準備從滬西方向歸隊，繼續與日軍作戰時，租界當局迫於日軍關於若租界准許孤軍通過，日軍也將通過租界追擊孤軍的威脅，違背諾言，要收繳孤軍的武器，車運膠州路羈留。八百壯士羣情激憤，聲言武器爲軍人的第二生命，決不能離手，寧願重返四行倉庫，繼續固守到底。雙方僵持不下。經過多方周旋，租界方面表示，這僅是替孤軍代爲保管武器，定點明數量出具收據，絕非繳械。八百壯士爲顧全大局，忍辱負重，被車運膠州路孤軍營。租界當局攝於日方壓力，不敢釋放孤軍歸隊，同時也拒絕了日方關於引渡孤軍的無理要求。這樣，八百壯士被羈留在孤軍營。孤軍營佔地數十畝，地面坑坑窪窪，垃圾滿地，住房十分簡陋，營地四周鐵絲網高架，由白俄士兵把守，壯士們只能在鐵絲網內活動，實際上是一個俘虜營。
身處逆境，但八百壯士誓死抗日的信念沒有動搖。壯士們把孤軍營生活當成另一種形式的戰鬥，通過自己的言行，“使友邦從我們身上看出中國軍人之氣概，從此認識中國的真精神。”來到孤軍營的第二天，謝晉元在接見中外記者時表示：“倭寇與我們勢不兩立，我們存在一天，決與倭寇拼命到底。”在條件艱苦的孤軍營，八百壯士在謝晉元的率領下，仍然過着嚴格的部隊生活，早操、值勤、站崗，從不間斷，並自力更生進行生產。他們進行嚴格訓練，準備隨時報效祖國。爲激發愛國熱情，他們還每天舉行精神升旗典禮，表達了他們對中華民族的無限忠誠。
1937年11月12日，中國軍隊全部撤出上海，日軍軍包圍了租界，孤軍營成爲孤島中的孤島，也成了上海抗戰的最後精神堡壘。有一段時期，孤軍營未被限制普通人的出入，上海同胞可以隨便和孤軍接觸，在通往孤軍營的路上，每天人來人往，絡繹不絕，如同聖徒們擁向聖地一般的景象。
1938年8月，時值上海“8·13”抗戰週年紀念日，孤軍向租界當局提出要求在孤軍營內懸掛國旗，以示紀念。租界當局多方阻撓，企圖阻止紀念活動。幾經交涉，租界當局被迫同意升旗，但要求將旗杆截短，與營內禮堂屋頂相齊，避免日軍看到。11日，孤軍舉行了莊嚴的升旗典禮，國旗在營內飄揚。上海同胞望見，無不感奮流淚。租界當局見狀，害怕得罪日本人，派萬國商團的白俄隊衝入孤軍營，欲強行摘下國旗。手無寸鐵的孤軍奮力抗爭，手拉手地築起人牆，圍在旗杆下。白俄士兵開槍射擊，孤軍爲護旗當場犧牲4人，負傷11人。白俄隊還將謝晉元等部分軍官挾持到車上，拉至外灘幽禁起來。爲此，孤軍全體官兵絕食抗議，上海同胞亦憤慨萬分，罷市3天，聲援孤軍，要求將謝晉元等送歸孤軍營。8月13日，中國共產黨在漢口出版的《羣衆》週刊上撰文：“向羈留在滬堅持奮鬥的八百壯士致誠摯慰問之意。”17日，租界當局迫於各方壓力，同意謝晉元等人回到孤軍營。
隨着上海形勢的變化，日僞活動日趨猖獗，他們對謝晉元等威逼利誘，企圖使其變節，但謝晉元毫不動搖。敵人見利誘不成，便準備下毒手。1941年4月24日清晨，謝晉元率部早操時，遭被敵人收買的孤軍內部叛徒郝某等4人突然襲擊，不幸犧牲。謝晉元殉國後，孤軍悲憤萬分，失聲痛哭，叛徒當場被抓獲，受到懲罰。噩耗傳出，上海人民震驚至極。4月25日，舉行遺體棺殮儀式，前往弔唁者達10萬之衆。中外報刊紛紛報道消息，表示哀悼。國民黨政府於同年5月追晉謝晉元爲陸軍少將。解放後，上海市人民政府褒揚他“參加抗日，爲國捐軀”的精神，併爲他重修墳墓。
太平洋戰爭爆發後，日軍於1941年12月闖入孤軍營，拘禁了全體孤軍，並將他們送往吳淞口看管，4年的孤軍營生活至此結束。此後，日軍對孤軍進行了百般殘害，強迫孤軍挖壕溝，做苦工，後來又將他們押往南京老虎橋監獄。即使在這種殘酷的環境中，八百壯士仍表現出不屈不撓的精神，與敵人展開鬥爭。爲瓦解孤軍，日軍仍將八百壯士分散看管，並將其中一部分押往杭州和南洋做苦工，直至抗戰勝利，倖存者才恢復自由。
