公元379年2月，苻堅的長子符丕率領7萬士兵圍攻襄陽城。隨後，爲了配合西線進攻，苻堅派遣彭超爲都督，率領10萬步兵和騎兵進攻東晉的彭城、淮陰和盱眙等重鎮。
次年2月，襄陽城被攻陷，朱序被俘，西線軍隊潰敗。東線的彭城雖然仍在堅持，但形勢卻十分嚴峻。面對前秦軍的強大威脅，東晉朝廷只能派出北府兵進行救援，謝玄親自率領高衡和何謙等將領，帶着萬餘北府兵奮勇前行，爲援救彭城而戰。
謝玄面對數量龐大的前秦軍隊，大膽揚言要攻打彭超在留城囤積的糧食和軍械，迫使彭超不得不暫時撤軍。這一戰術成功地救出了彭城的官員和百姓，彭超雖然佔據了彭城，但只得到了一座空城。
同年4月，前秦將領毛當和王顯率兩萬餘軍隊向東進攻並會合了彭超，一同進軍淮南。在五月，前秦軍攻破了盱眙城，並俘虜了高密內史毛操。之後，他們再次以6萬大軍圍困東晉幽州刺史田洛於三阿城。
消息傳到東晉的國都建康後，文武官員們都十分惶恐不安。因爲三阿城距離建康只有200裏，一旦三阿城失陷，謝玄所在的廣陵就成了建康的最後防線。於是，丞相謝安開始沿江佈防，同時命令謝玄率北府兵馳援三阿城。
公元380年6月，謝玄率領5萬北府兵與前秦軍隊在盱眙展開激烈戰鬥。最終，前秦軍大敗退守淮陰。隨後，謝玄派何謙率領水師朔淮水而上，焚燬了前秦軍搭建的橋樑。讓戰事發生了重要的轉折。
