升任兵部侍郎
當年秋，兵部侍郎、漕運總督周天爵卒於亳州，詔命袁甲三繼任統帥軍隊。在這之前，周某曾奏報說，蒙城、亳州的捻軍，合五十八捻爲一大股，設有四大天王等名目，不可急剿。周某死後，袁甲三到亳州的王市集時，兵勇已散，民無鬥志。袁甲三急忙召集散兵遊勇，整頓團練，凝聚軍心，佔據要隘，結果在高公廟首戰告捷。皇帝下旨命袁甲三接辦剿“匪”事宜，加三品銜，署安徽布政使。袁甲三向朝廷上疏推辭說，擔任布政使職務後，政務繁雜，無法指揮軍隊打仗。朝廷認爲他的話很有道理，就讓他專門辦理剿辦安徽捻軍的事。後來他又在標裏鋪打了個大勝仗，活捉了捻軍首領鄧大俊，俘虜捻軍二千多人。
這年十月，安慶太平軍佔領桐城後不久，又攻陷舒城，呂賢基戰死。朝廷想讓袁甲三移軍桐城，袁甲三急忙上疏說：“捻軍首領張茂盤踞在懷遠、蒙城之間，正想進攻廬州(合肥)，請先駐軍蒙城和亳州，聲援各州。”
捻軍聚集雉河集，袁甲三令縣丞徐曉峯擊破之，擒捻軍首領孫重倫。分兵擊敗臨湖鋪竄匪，擒捻軍首領宮步雲、馬九。令遊擊錢朝舉、知縣米鎮攻懷遠，大破之，張茂負傷逃走。
平定太平軍
十二月，太平軍果然攻陷廬州(合肥)，巡撫江忠源戰死。袁甲三上疏彈劾陝甘總督舒興阿“擁兵坐視”，舒興阿被免職。
咸豐四年(1854)，袁甲三入據臨淮，屬安徽剿捻的北路軍。不到一年，皖北捻軍被他各個擊破。朝廷褒獎，破格擢升他爲都察院左副都御史。這時他最關心的是廬州收復問題，認爲“廬州居江北腹地，又旁陷十餘州縣……廬州不克，不特江北各路防兵爲所牽制，楚師東下亦不能急搗江寧。”但是中路軍首領和春、福濟“師老兵疲，急難奏效”，諭旨卻讓他與和春、福濟“聯銜具奏”，“詳細酌度辦理”。
在淮北官員的任用上，和春、福濟二人與袁甲三意見不合，二人上疏舉劾袁甲三：“堅執己見，無從會銜”，誣告他“株守臨淮、粉飾軍情、擅截餉銀，冒銷肥己”。朝廷聽信了和春、福濟的奏報，命袁甲三回北京交兵部“嚴加議處”，袁甲三在淮北很得軍民心，他離開的時候，挽留他的百姓把路都堵住了。
暫遇低潮
袁甲三到京不久，即被革職。
咸豐五年(1855)五月，袁甲三向督察院申訴說：和春他們說我擅截餉銀等罪名，都是誣陷的。因爲在鮦城戰役(咸豐四年)後，我曾經責怪和春他們“置不應援”。今年又因爲他們攻打廬州失敗，彈劾過他們。他們懷恨在心，所以捏造流言蜚語誣陷我。督察院接到袁甲三的申訴，就向咸豐文宗皇帝作了彙報，文宗命兩江總督怡良秉公查辦。
袁甲三離開皖北不久，捻軍首領張洛行又把安徽、河南各部捻軍聯合在一起，聲勢更加浩大，老百姓也飽受戰亂之苦。懷遠縣的老百姓胡文忠，賣掉自己的女兒作路費，徒步走到京師，請求都察院讓袁甲三回安徽鎮守，因爲他的狀紙沒有被都察院接受，就懷揣狀紙上吊自殺了。言官給事中孫觀、御史曹登庸、宗稷辰等，先後上疏說：“袁甲三在臨淮剿辦有方，地方纔因此得到安寧。”兩江總督怡良、江蘇巡撫吉爾杭阿、浙江巡撫何桂清，也紛紛上呈奏章，請求“仍起甲三視師”。經各方查證，和春、福濟指責袁甲三的種種罪名，確係誣告。袁甲三才得以平反並被重新起用。
重新被起用
咸豐六年(1856)，袁甲三受命協助河南巡撫英桂剿辦河南捻軍。他先到歸德(今商丘)召集舊部與捻軍對壘，三戰三捷，一舉瓦解了捻軍對亳州的包圍。然後在燕家小樓殲滅捻軍幾萬人，俘虜了捻軍首領蘇天福，只有張洛行一個人逃跑了。對此，朝廷特詔嘉獎，命以三品京堂候補。
後來張洛行又糾集潰散的捻軍進攻潁州，失敗後再度佔領雉河集。咸豐七年(1857)，袁甲三的軍隊先後消滅了王、鄧、宋、姚幾股捻軍，殺死捻軍首領李寅等100多人，被升任爲太僕寺卿，賞戴花翎。勝保督師攻張洛行於正陽關，久不下，奏請袁甲三合剿，袁甲三令部將朱連泰、史榮椿攻韓圩，克之。
咸豐八年(1858)，與勝保一起解固始之圍，收復六安。史榮椿破捻軍於銅山，斬其首領孫大旺。移軍宿州，襲取王家圩，誅首領王紹堂等，乘勝收復七圩。七月，受命代勝保督辦三省剿匪事宜。袁甲三令子袁保恆偕總兵傅振邦大破捻軍於太和李興集，殲斃數千，逐捻軍出河南境，賜號“伊勒圖巴圖魯”。
咸豐九年(1859)正月，與勝保意見不合，屢被上疏參奏，故被召回京，入覲，面陳軍事。四月，上諭袁甲三爲漕運總督。勝保因母親病故回籍丁憂時，袁甲三被升任欽差大臣，督辦安徽軍務，實授漕運總督。
咸豐十年，他進軍鳳陽，屢戰屢捷，朝廷嘉獎他調度有方，賜黃馬褂。這年秋天，英法聯軍攻陷北京，王公貴族都逃到熱河去了。袁甲三請求率兵北上，保衛北京，朝廷說臨淮是南北要塞，沒有批准。
咸豐十一年(1861)十一月，袁甲三督軍攻佔捻軍堅守三年的定遠縣城，並派兵與多倫阿部同取廬州城。袁甲三知道自己帶領的軍隊不是嫡系，又無用人和籌餉的實權，與自成一派的湘軍、皖軍不可同日而語。所以他雖然屢戰多勝，但壽州失陷仍有誣言上達。這使他處事更加謹慎，長子袁保恆作戰勇敢，就從不准他與別的將士爭功。
多年戎馬生涯，袁甲三已積勞成疾，全身麻痹。他先請假休養，後病勢劇增，又請開缺回籍。朝廷批准了他的請求，但是所下諭旨卻說：“前因壽州失陷，袁甲三與翁同書共辦一事，且有督辦軍務之責，降旨交部嚴加議處。維念該大臣督辦安徽軍務三載，時值艱危，竭力支持，一切尚屬穩練，該部所議袁甲三應得革職處分，著(着)加恩寬免”。
袁甲三住在陳州(今淮陽縣)家中養病期間，捻軍兩次進攻陳州。當時袁甲三的病已非常嚴重，他就在病榻上向守衛陳州的將吏傳授破敵方法，結果捻軍兩次進攻陳州都沒有成功。同治二年(1863)六月二十四日，袁甲三病故，享年五十八歲。同治皇帝賜諡號“端敏”，葬於淮陽西關並設專祠祭祀，後又在他率兵作戰過的臨淮、淮安建專祠。有《端敏公遺著》傳世。
身後事
淮陽袁甲三墓，屬“懸棺”。屍體於“文革”期間被紅衛兵從墓中“請”出示衆，墓中隨葬品，據說被村民換回十三臺手扶拖拉機。
