嘉慶十二年(1807年)十二月羅澤南生於湖南省雙峯縣，從小聰明敏慧，四歲始識字，六歲入私塾，過目成誦，但家境貧困，四壁蕭然，一家人經常吃了上頓沒下頓。二十九歲那年，他從縣城考秀才回來，徒步趕路，半夜纔回到家，還沒進家門，就聽到妻子的哭聲，原來因爲大旱無糧，他的三個兒子都餓死了。十年之間，他先後失去了包括兄嫂、祖父和三個兒子在內的9位親人。妻子因爲接連喪子，悲傷過度，兩隻眼睛全都失明，耳朵也重聽，疾病纏身。 羅澤南自己也多有疾病，腰背痠痛不休，由於家貧，又不能買藥給自己治病。
然而不論生活多麼窮苦，羅澤南從不以個人窮達爲憂，專心理學，以經世致用爲志。
咸豐二年(1852年)，太平軍進犯長沙，湖南地區的士紳對此深感不安， 在此危急情況之下，45歲的羅澤南以在籍生員的身份倡辦團練。
咸豐三年(1853年)，羅澤南與曾國藩共同募兵成立湘軍。江忠源率兵援救江西，向曾國藩求援，曾國藩命羅澤南率兵前去。他的部下大多是湖南的書生，他們初臨戰陣，在南昌城下與太平軍惡戰，戰死多人。曾國藩聽說之後非常高興得說:"編練的湘軍果然可用。"南昌解圍之後，又去圍剿了安福的土匪，以三百人擊破數千太平軍，被提拔爲直隸州同知。回到湖南後，又圍剿了永興的土匪，所部增至千餘人。與曾國藩完善了湘軍營制，訓練了半年。
咸豐四年(1654年)六月，羅澤南和塔齊布一起進攻嶽州，他料想大橋是太平軍必爭之地，所以堅守不動，伺機出擊，三戰皆捷，殲滅太平軍數千人。閏七月，攻破了高橋的九座太平軍營壘，太平軍退守城陵磯，羅澤南趁勢和塔齊布一起進擊，接連擊退太平軍多處大營。從此，湘軍的威名開始遠播，羅澤南與塔齊布並稱爲湘軍名將。
羅澤南和塔齊布在城陵磯大敗太平軍之後轉戰向東，攻克了崇陽，擊退了盤踞在咸寧的太平軍，又在金牛擊敗了他們，繼而進駐紫坊。曾國藩在金口會見了諸位將領，商議進攻武昌的事宜。
羅澤南爲之繪製圖紙並進獻方略。然後湘軍排列巨炮面向長江內外，分爲水陸兩路。羅澤南率軍隊直趨花園，太平軍依憑木城向湘軍發炮。湘軍士兵蛇行前進，逼近太平軍的營壘，並且分兵奪取太平軍的船舶，船上的太平軍被擊退之後，大營裏的太平軍也亂了陣腳，太平軍三處都被攻破。第二天羅澤南又攻破了鮎魚套的太平軍大營，他們竄向洪山的士兵，被清將塔齊布所攔截，太平軍夜裏棄城而走。武昌、漢陽二城都被恢復，此時距曾國藩的會攻武漢會議僅僅七天。向朝廷奏捷之後，羅澤南很快被授爲浙江寧紹臺道，曾國藩請求將他繼續留在軍中。
太平軍佔據興國，並且分兵攻陷了大冶。羅澤南率軍攻克了興國，塔齊布也攻克了武昌、大冶，於是規劃攻取田家鎮。太平軍用鐵鎖攔截清軍水師，駐紮在半壁山互爲犄角之勢，在長江兩岸隔岸而守。羅澤南進駐馬嶺坳，距離半壁山有三裏左右。太平軍數千人突然來犯，並且由田鎮渡江前來的援兵又將近萬人。而羅澤南的軍隊僅僅有兩千，羅澤南令軍士埋伏起來，等到太平軍懈怠的時候再出擊，太平軍大敗，後路被清軍阻攔，墜崖而死的有數千人，羅澤南奪取了半壁山，清軍水師截斷了橫在江上的鐵鎖，燒燬了太平軍的船舶，而且攻克了田家鎮，朝廷給羅澤南賜號爲普鏗額巴圖魯，加按察使銜。
當時湘軍商議水陸軍分三路進剿太平軍，總督楊霈總領江北岸的兵馬，羅澤南和塔齊布一起攻擊楊霈以南的太平軍，曾國藩率領水師沿江而下下。然而當時下了大雨不能行軍，太平軍又再次向北進犯，於是羅澤南和塔齊布一起改道向北渡過長江，克復了廣濟、黃梅。太平軍退守孔隴驛、小池口，羅澤南趁勢約各路兵馬前來會攻。湘軍渡江還未到一半，太平軍就又來進犯，湘軍不敵稍稍退卻，羅澤南的手臂受傷，但仍然指揮作戰，分兵打敗了街口的太平軍，太平軍的首領羅大綱敗走。這一次戰役，羅澤南以五千人擊破太平軍兩萬兵馬，太平軍沿江的諸大營全部撤走，退守江西九江。塔齊布前去圍攻，羅澤南與之分別前去圍剿盔山，遏制湖口前來援助的太平軍。適逢湘軍水師進入鄱陽湖，被太平軍所襲擊，湘軍的輜重全部喪失。曾國藩快馬馳入羅澤南的大營，然而湘軍水師阻住了鄱陽湖口使他難以進入。
咸豐五年(1855年)，湖北的清軍屢敗，武昌再次陷落。羅澤南跟從曾國藩進入南昌，前去救援饒州，在陳家山、大松林大戰，大破太平軍，克復了弋陽。又去救援廣信，在城西烏石山大破太平軍，並攻克了烏石山。接連克復興安、德興、浮樑等地，並進剿義寧。接着，他又在樑口、鰲嶺擊敗了太平軍，克復了義寧，被加封爲布政使銜。
羅澤南見江西的軍事部署不是十分合理，就向曾國藩建議說:"九江逼近江寧(南京)，而且向西牽制武昌，故太平軍以全力爭之。他們進犯弋陽，派兵到廣信，從信水而鄱陽湖，抄我們的右路;又佔據義寧，扼守梅嶺，從修水而下鄱陽湖，抄我們的左路。如今兩處都被我們平定，九江的門戶漸漸穩固了，惟獨湖北的通城等地仍然很多叛軍。江西的義寧、武寧，湖南的平江、巴陵，始終都不安寧。想要扼制九江，最好是從武昌而下;如果我們想要解武昌之圍，最好從崇陽、通城而入。爲今之計，我們應當把湖口水師、九江的軍隊截住太平軍鄱陽湖的船，更選能征善戰之軍掃滅崇陽、通城的太平軍以進入武昌，以武昌來扼制九江。那麼東南的全局，說不定會有轉機啊。"
曾國藩將他的建議全都奏報了朝廷，於是命羅澤南前去湖北會剿太平軍，將塔齊布的舊將彭三元、普承堯等部的人馬也撥給了他，一共有五千人，再次前往湖北圍剿太平軍。
咸豐五年(1855年)九月，羅澤南率軍至通城。太平軍雖然號稱數萬，但只不過是烏合之衆，一戰即潰。羅澤南進軍奪取了桂口要隘，進而攻克了崇陽，在羊樓峒駐軍。太平軍韋俊、石達開部合軍二萬餘人從蒲圻率軍來犯，被羅澤南部擊敗。胡林翼前來勞師，與羅澤南合攻蒲圻並攻克了此地，然後乘大霧進軍攻克了咸寧。從此武昌以南沒有了太平軍的蹤跡。
同年十一月，大軍抵達紫坊，羅澤南與胡林翼商議進攻城市的策略。羅澤南屯駐洪山，胡林翼屯駐在城南的堤上，湘軍水師駐紮在金口。太平軍在城外築起了十三座堅固的營壘，與洪山城類同。兩軍初戰之時，太平軍兩萬兵馬出十字街，胡林翼與之交戰，太平軍數次退卻又數次進攻。羅澤南與李續賓分兩路偷偷地前去抄太平軍的大營，攻破了十字街的大營，將太平軍修築在城東南的營壘全部搗毀。
八步街口是湘軍通往長江的要路，塘角是太平軍糧運的重要道路，羅澤南派軍先後攻破這兩個地方，焚燬了太平軍的造船廠，湘軍西北的太平軍營壘全部被湘軍攻破了。然而太平軍又在望山門外修建了兩座石壘，羅澤南率軍踏平了這兩處太平軍營壘;又在窯灣、塘角兩地驅逐太平軍，殲滅數千太平軍，於是太平軍閉城不出。
太平軍主帥石達開自從在崇陽被湘軍擊敗後竄入江西，勢力又開始膨脹起來。曾國藩發出文告要羅澤南迴援江西，羅澤南因爲武漢是南北交通的樞紐，如果湘軍驟然撤離，胡林翼一軍人馬不能獨自守衛，如今太平軍的糧草將要用盡，如今要撤離，實在不是一個明智的決策。羅澤南的父親已經八十歲，將書信送至軍中要他保持忠義之心，胡林翼將信交給了羅澤南，咸豐六年(1856年)二月，朝廷下詔贈予羅澤南的祖父母、父母二品的封典，以示朝廷對他的恩典和器重。
羅澤南征戰四年，克城數十，歷經二百餘戰，幾無敗績，還屢屢以少勝多，堪稱湘軍中的“戰神”。
羅澤南之所以能戰，第一原因是勇敢，理學是生死之學，因爲學養深厚，打起仗來，從不怕死。“每戰必死，忠勇冠時。”第二是經世致用，一直致力於有用之學。從軍後，他注意實地考察地形，繪製地圖，選擇有利地勢來作戰。第三是因爲他理學功夫深，在極亂的戰場上能做到不動心，所以頭腦冷靜，分析戰況時分毫不差。
羅澤南帶兵也極有特點，每天白天打仗，晚上就把部下召到一起，教他們讀書，給他們講理學道理，以《孝經》《四書》轉相傳誦。夜晚營中書聲琅琅，不知道的還以爲是到了學校呢?
羅澤南對湘軍的另一個重要意義，是他甘於清貧教書育人二十餘年，培育出一大批人才，比如王錱、李續賓、李續宜、李杏春、蔣益澧、劉騰鴻、楊昌濬、康景暉、朱鐵橋、羅信南、謝邦翰、曾國荃、曾國葆等等。他們飽受理學思想薰陶，具有經世抱負與才幹，湘軍興起後，這些學生大多成爲湘軍名將，悍勇無畏。
咸豐六年(1856年)三月，長期閉門不出的太平軍開門出戰，撲向湘軍。羅澤南親自督戰。太平軍援軍接連而至，湘軍從洪山出動奮力追擊太平軍，飛炮擊中了羅澤南的左額，血流而下佈滿了臉上。他很快回了洪山，回去之後仍然端坐在營外指揮作戰，第二天在軍中逝世，終年49歲。
咸豐帝聽聞之後非常震驚並表示哀悼，下詔依照巡撫的規格給予議恤。賜其父羅嘉旦頭品頂戴，兒子羅兆作、羅兆升都贈與舉人，賞賜世代承襲的騎都尉之職，並且入祀昭忠祠，在他的本籍湖南，還有湖北、江西都建立專祠，賜給諡號忠節。太平天國平定之後，同治帝追念羅澤南的功勞，加封爲世襲的一雲騎尉之職。
