19世紀中葉，由於階級矛盾和民族矛盾的日益加深，全國各族人民的起義此伏彼起，風起雲涌。洪秀全、楊秀清領導的太平天國起義更是聲勢浩大，所向披靡，起事僅兩年就席捲南中國，並定都天京，建立了政權。清政府處於風雨飄搖之中。而清朝的經制兵——八旗和綠營早已因腐敗而不孚戰陣。在這種形勢下，咸豐皇帝諭令數十名團練大臣於各省舉辦團練，以剿滅太平軍，維持其統治。丁母憂在家的曾國藩即刻行動，開始組建軍隊。
當時的清朝武裝力量，分爲“兵”，“勇”，“丁”三類，“兵”即經制兵，“勇”爲臨時招募、不隸正式兵籍卻爲政府驅用的武裝，“丁”則是地方士紳自辦的團丁及其所豢養的家丁。曾國藩的建軍思路就是將民間武裝團練由“丁”上升爲“勇”，進而取代“兵”。他以湖南湘鄉豪紳組織的2000團練爲基礎，在湖南全省各地團練中招募、選調，統一編制，逐步擴大編練成一支高於團練，又區別於八旗、綠營的獨具特色的新軍，名之爲湘軍。湘軍很快便成爲清廷賴以同太平軍作戰的主力，並在實戰中愈戰愈大，愈戰愈強，並最終攻克天京。湘軍之所以能取得如此“戰績”，是與曾國藩苦心孤詣的經營分不開的。
第一是確立了忠君勤王，捍衛封建禮教的建軍宗旨。太平天國在起義之初一度貶斥孔孟儒學，並曾提出過樸素的平等和平均主義的主張，這些爲大多數靠封建剝削過活的地主豪紳，尤其是以讀書人仕爲人生追求的地主階級知識分子所反對。曾國藩抓住這一點，從封建禮教出發，對太平軍大加撻伐。建軍之初，曾國藩就發佈了一篇名爲《奉天討粵匪檄》的文章，攻擊太平軍的政治宗旨和宗教綱領，說太平軍獨尊上帝，主張政治平等、經濟平均以及反對孔孟儒學，是徹底破壞了中國數千年來奉行的“禮義人倫詩書典則”，是開天闢地以來的“名教之奇變”，自稱鎮壓太平軍就是爲了捍衛性命所繫的封建禮教和文化，所謂“赫然奮怒以衛吾道”。這一宗旨不但使清廷甚感寬慰，也對天下讀書人產生了很大影響，還迎合了一部分守舊人士的心理。在太平天國不代表新的生產力，而又反對封建禮教的情況下，此宗旨使曾國藩和湘軍得到了地主階級特別是知識分子更多的支持。
第二是建立了一套新的編制體制。湘軍起兵之初以營爲作戰單位，其下設哨、隊(相當於當時西方國家的連、班);其上設統領，統領在作戰時根據需要節制數營，各統領再受曾國藩指揮。後湘軍總兵力增至10萬以上，曾國藩又在統領與營官之間增設分統一職，可統帶數營之勇;在統領之上增設統帥數人，如左宗棠、胡林翼等，各統兵數萬，獨擋一個大的戰略方向，再統一服從自己的指揮。這種指揮系統完整而嚴密，爲清朝軍隊建設上的一大進步。
第三是在官兵揀選標準上，以所謂“有血性”、“明義理”的儒生爲基層軍官，招募“樸實而少心竅”的農夫山民爲士兵。按《湘軍水陸戰記》所說就是“以召募易行伍，儒生領山農”。“儒生”們差不多都是屢試不第的鄉間讀書人，既求官心切又未沾染多少腐敗習氣，而又具備相當的文化知識水平，是符合曾國藩建軍宗旨的不二人才羣體。在揀選將領時，強調“德才”兼備，而以“德”爲首，“德”的內涵主要是對封建皇帝的“忠”和對湘軍大帥的絕對服從。湘軍建軍時以營爲基本單位，各營官都由曾國藩從其門生、同鄉、親朋中選用，互不隸屬，只絕對服從他一人。這就從制度上和感情上保證了他對湘軍的控制，從而克服了綠營兵指揮調度不靈的弊端。
