1930年馮玉祥、閻錫山同蔣介石在中原作戰失敗，馮玉祥的鐵桿部下孫連仲率部投靠蔣介石，蔣介石委任他爲第二十六路軍總指揮。從此二十六路軍成立。遵照蔣介石的命令孫將部隊開到山東濟寧一帶進行改編。1931年上半年，蔣介石命令孫率部開到江西，參加“剿共”。1931年5月中旬，第二十七師第八十一旅被全殲，第二十七師師部大部和第七十九旅部分被殲滅。1931年12月二十六路軍總指揮部參謀長趙博生，二十五師第七十三旅旅長董振堂，第七十四旅旅長季振同和第七十四旅第一團團長黃中嶽等，發動了震驚中外的寧都起義，17000多人蔘加紅軍。
寧都起義發生以後，二十六路軍只剩下了留在後方的騎兵第一師(兩個旅：祝常德旅和張華棠旅)、二十七師八十一旅駐寧都石上砍柴崗的一個團及該路軍駐南昌和宜黃的辦事處、在撫州的新兵訓練隊和宜黃的炮兵營共10000多人。但由於孫連仲是西北軍有名的戰將，寧都起義時他對蔣介石並沒反心，蔣介石對他並無恨意，另孫連仲與陳誠、熊式輝關係密切，所以很快孫又組織起了二十六路軍總部和二十五、二十七兩個師及獨立四十四旅(由張華棠旅改編，直屬路軍)。但1932年9月，防守樂安和宜黃的二十七師又被殲滅，孫將二十六路軍兩個師縮編爲二十七師，由孫自兼師長，下轄兩個旅和一個獨立團。孫爲了保住二十六路軍的番號，想方設法擴充部隊，目光鎖住了原西北軍吉鴻昌的舊部，當時駐在鄂東麻城宋埠一帶的第三十軍。因蔣介石要吉鴻昌率部進攻大別山的紅軍，吉鴻昌憤而離職。孫連仲通過安插心腹到第三十軍和採取離間計，很快就接管了第三十軍。爲了安定人心，孫讓原第三十師師長彭振山代理第三十軍軍長，仍兼第三十師師長，以李敬明(原第三十一師第九十二旅旅長)代理第三十一師師長。孫又把第二十六路總指揮部暫時移駐宋埠，只留第二十七師駐在江西。過了不久，孫又把獨立第四十四旅張華堂部(也是原西北軍部隊)與第二十七師合編爲第四十二軍。這樣，孫連仲的二十六路軍又有了兩個軍的番號和三個師一個旅。1934年春天，孫乘彭振山回河南探親的機會，突然令彭部向江西開拔，並將後面急速趕來的彭振山交給了南昌行營。蔣介石把彭交給憲兵司令部扣押起來。孫連仲率部回到江西后，他自己兼任第三十軍軍長和第三十師師長，以池峯城爲第三十一師師長，以馮安邦爲第四十二軍軍長，以黃樵鬆爲第二十七師師長，張華堂仍任獨立第四十四旅旅長。
1934年10月紅軍主力轉移後，孫抓緊整訓留在江西重組的二十六路軍，通過整訓。二十六路軍變成了一支勁旅。1935年第二十六路軍奉令開到蘇北，參加導淮工程。1936年西安事變時，又奉令進軍西北，參加對張學良、楊虎城的“討伐”。當他率部開到洛陽一帶時，西安事變已經和平解決，遂在信陽一帶整訓、駐防一直到七七事變。
七七事變後，孫連仲的第二十六路軍歸第二集團軍總司令劉峙指揮，奉命開到平漢路保定以北地區參加抗日。劉峙在保定一看形勢不利，倉皇南逃，二十六路軍被迫後退到河北正定一帶。這時蔣介石電令原第二十六路軍番號撤銷，任命孫連仲爲第二集團軍總司令，歸第二戰區司令長官閻錫山指揮，將部隊開至娘子關一帶，抗擊日軍。至此二十六路軍番號壽終正寢。儘管番號取消，但臺兒莊戰役的主力部隊仍然以二十六路軍爲主，在臺兒莊戰役之初孫連仲使用的是原二十六路軍的第三十一師池峯城部。日軍猛攻臺兒莊，攻佔了臺兒莊一半以上地區，孫連仲速調原二十六路軍的第三十師和第二十七師增援，和日軍展開了殊死搏鬥，終於取得了臺兒莊戰役的勝利。
