1655年(清順治十二年、明永曆九年)，張名振與張煌言合兵三入長江，抵燕子磯，因兵力單弱，無功而返;乃會同鄭成功部甘輝、陳六御等收復舟山，張名振縞素入城，遍覓母屍，哀動三軍。歲末，張名振猝死。死前曾言：“吾於君母恩俱未報，若母屍不獲，毋收吾骸。”言畢起坐，擊牀而逝，死不瞑目，猶凜凜有生氣。後葬於普陀勾山南嶴村。張名振原本遺囑由張煌言統領其軍，而鄭成功卻下令由陳六御接掌。次年清軍再度佔領舟山，陳六御陣亡，在將士的推戴下張煌言成爲原魯監國系統軍隊的主要領袖，繼續同鄭成功聯合作戰。
1658年(清順治十五年、明永曆十二年)，永曆帝封鄭成功爲延平郡王，張煌言爲兵部左侍郎。同年清軍進犯雲貴，鄭成功、張煌言進軍浙江，攻克樂清、寧海等地，在羊山遇颱風，損失鉅艦百餘艘，漂沒戰士八千餘人，被迫撤回廈門。
1659年(清順治十六年、明永曆十三年)，張煌言與鄭成功一起，爲牽制大舉向雲貴地區進攻的清軍，再次率義軍入長江作戰。先是，義軍抵達並佔領崇明。張煌言對鄭成功建議說：“崇明，江、海門戶”，宜先將義軍“定營於此”，稍事休整，務使義軍“進退有所據”。但鄭成功未聽從。當時，駐防長江的清軍，在瓜洲金、焦二山間橫上攔江鐵索(俗稱“滾江龍”)，且在沿江兩岸遍置西洋大炮，防守頗爲堅固。張煌言卻率義軍乘十七條船機警巧妙地破壞了江防防線，在後援的鄭軍配合下，“翦江而渡”，於六月一舉攻佔瓜洲。
攻克瓜洲後，張煌言又向鄭成功建議全力攻取鎮江，然鄭成功顧慮駐守江寧(南京)的清軍將趕往支援。張煌言則主張可先派一支舟師水軍，佯攻直搗江寧北門，即觀音門，這樣“南京清軍自不暇出援”。
同時，他還提議這支水軍應溯江而上，前往蕪湖一帶活動，以防阻江楚方面清軍的來援。鄭成功採納了意見，並命他向南京方向進攻。此時，張煌言所率義軍將屬人數不滿一萬，渡江之舟不滿百艘，仍毅然率軍西行。不久，張煌言攻克儀真，並進軍六合，沿途受到沿江民衆的熱烈歡迎，“儀徵吏民齎版圖迎降五十里外”。
當得悉鄭成功攻克鎮江後，張煌言又致信鄭成功，言及當“先撫定夾江郡縣”後，再從陸路進軍，直取南京，但鄭成功未採納他的建議，“竟從水道進”。致使有利戰機瞬間喪失，而南京清軍得以喘息並獲後援而鞏固城防。
六月二十八日，張煌言軍直抵南京觀音門外江面，停留兩日仍不見鄭軍的到來，只得派遣別的將領率輕舟數十艘的水軍，“直(西)上攻蕪湖”，他自己則率軍駐紮在浦口。待鄭成功率“水師”到達後，張煌言又於七月七日趕到蕪湖，在此，他“部勒諸軍”，將義軍兵分四路，分道攻城略地，且在沿途“移檄諸郡縣”，張貼文告。許多故明降清的舊官吏，見到文告，紛紛倒戈，“於是太平、寧國、池州、徽州、廣德及諸屬縣皆請降”，使義軍很快便收復了四府、三州、二十四縣，城池近三十座。義軍紀律嚴明，所過之處，對民衆百姓“秋毫無犯”。
張煌言每“經郡縣，入謁孔子廟，坐明倫堂，進長吏，考察黜陟，略如巡按行部故事，遠近響應”。致使出現“父老爭出持牛酒犒師，扶杖炷香，望見衣冠，涕淚交下，以爲十五年來所未見”的空前盛況。而“瀕江小艇，載果蓏來貿易者如織”，給義軍很大支持與鼓舞。可是，這一大好形勢，卻因鄭成功率軍攻打南京城的失利，而很快急轉直下。
正當張煌言收復徽州時，聞鄭成功在南京城下兵敗之事，於是“還蕪湖收兵，冀聯合瓜洲、鎮江(義)軍爲守計”，期待有利時機，再作他圖。不久，張煌言又得到鄭成功軍已放棄瓜洲、鎮江等地，而退回海上的消息，致使張煌言所率義軍處於進退維谷、腹背受敵的危險處境，很快遭致潰敗。
此際，清兩江總督郎廷佐一方面調遣水軍切斷張煌言義軍東退的水路，另一方面又寫信向張煌言勸降。張煌言對招降書“拒不應”，同時，爲擺脫困境，又率“餘兵道繁昌，謀入鄱陽湖”，向江西發展。當義軍船隊進抵銅陵時，卻與湖廣來援的大批清軍水師遭遇，與之激戰而敗退。
最後，張煌言“撫殘兵僅數百，退次無爲，焚舟登陸”。又從陸路自桐城，取道霍山、英山，到達東溪嶺時，適逢清軍“追騎至，從者盡散”。張煌言好不容易纔突圍而出，只得“變服夜行，至高滸埠，有父老識之，匿於家數日，導使出間道，渡江走建德、祁門亂山間”。此時張煌言身染瘧疾發作，幾不能行，但他仍不顧病痛，奮力疾行。到達休寧後，“得舟下嚴州”。登岸後，又復行山路，途經浙江的東陽、義烏“至天台達海”。
歷盡千難萬險，兵敗後繞道潛行二千餘里，九死一生，終於回到了浙江沿海地區。此後，他“收集舊部”，準備東山再起。鄭成功得到張煌言生還的消息後，也將自己的部分兵力撥歸他統轄，致使義軍稍有壯大。
張煌言將義軍屯駐長亭鄉，“築塘扞潮，闢田以贍軍”需軍餉。同時，張煌言又派遣使者向桂王稟告自己兵敗的消息。桂王得悉後，在敕書中表示安撫慰問的同時，又給他“加兵部尚書”的職銜。
