1938年3月20日，日軍磯谷師團借攻克滕縣之威，在飛機的掩護下，集中4萬人，配以坦克、大炮，向臺兒莊發動了猛烈的進攻，企圖一舉攻佔徐州。李宗仁以第2集團軍總司令孫連仲率部固守臺兒莊，第20軍團軍團長湯恩伯參謀長封裔忠率部讓開津浦鐵路正面，轉入蘭陵及其西北雲谷山區，誘敵深入，待機破敵。
國民政府軍事委員會關於臺兒莊戰役的意圖和部署是，以擅長固守的原西北軍孫連仲部防守臺兒莊運河一線，一方面防堵日軍進窺徐州，一方面將驕狂冒進的磯谷師團吸引到嶧縣南部地區，而後以隱藏於嶧縣東北山區的湯恩伯第20軍團拊敵側背，加以聚殲。日軍的作戰意圖是：“確保韓莊、臺兒莊一線，並警備臨城、嶧縣，同時用盡可能多的兵力向沂州方面突擊，協助第5師團戰鬥。1938年3月23日，日軍由棗莊南下，在臺兒莊北側的康莊、泥溝地區與守軍警戒部隊接戰。爲誘敵深入，第31師劉蘭齋連長率騎兵連從臺兒莊出發，向嶧縣方向搜索前進，91旅旅長乜子彬率183團跟進，在嶧縣城南20裏康莊與日軍遭遇。臺兒莊地區戰鬥正式打響，中國軍隊馬隊爲誘敵深入邊打邊撤，1938年3月24日，日軍逼近臺兒莊開始向臺兒莊地區大舉進攻。
日軍在臺兒莊北五里劉家湖村設有炮兵陣地，排列10門大炮，向臺兒莊猛轟。91旅183團3營營長高鴻立率領士兵，每人一把大刀，8顆手榴彈，殺入敵人炮兵陣地，砍得敵人無法招架，棄炮而逃。當時臺兒莊戰場上流傳着：“活張飛大鬧劉家湖的佳話”。1938年3月24日，日軍2000多人在飛機、大炮和坦克的配合下，開始向臺兒莊大舉進攻。堅守臺兒莊北門的186團1營在王震團長和姜常泰營長的指揮下頑強抵抗，並在城北門外與日軍展開白刃戰。打退日軍的多次進攻。1營是新兵，幾乎全犧牲在臺兒莊北門。王震團長也親自架起機槍向城外日軍掃射，當晚，日軍200人突破小北門，躲進小北門附近的泰山廟，王震團長親率將士圍攻泰山廟之敵，終將其消滅。24日起，日軍反覆向臺兒莊猛攻，多次攻入莊內。守軍第2集團軍頑強抗擊，與日軍展開激烈的爭奪戰。日軍猛攻3天3夜，才衝進城內。
3月24日，當臺兒莊激戰開始時，蔣介石即赴徐州視察督導，返回時留下副參謀總長白崇禧、軍政部次長林蔚，軍令部第一廳廳長劉斐、高級參謀王鴻詔組成參謀團在徐州協助李宗仁指揮作戰。3月27日，當日軍增兵魯南，戰事趨向激烈的時刻，蔣介石親赴前線車輻山車站，並去臺兒莊南站觀戰。李宗仁勸阻說，委員長之安全系全國長期抗戰之成敗，萬萬不可在此久留。蔣介石說 ：王銘章師長與全師在滕縣壯烈殉城前，我痛惜未曾與之謀面，今池師長又將及生死關頭，我既來此，不可卻步。蔣終於在李宗仁、白崇禧等人的陪同下去臺兒莊南車站會見了池峯城，這使池驚喜有加。蔣拉着池的手說：你的長官說你是忠勇、精幹兼備之人，今天看來此言不虛。池說 ：我師絕對戰鬥到底，與陣地共存亡，以報國家，以報委座知遇之恩。蔣對池嘉許、勉勵一番，揮手告別。
1938年3月27日，得到增援後的日軍對臺兒莊城發動第3次攻擊。日軍炮轟臺兒莊 圍牆，北城牆被炸塌，小北門亦被毀，守衛小北門的181團3營官兵犧牲殆盡，300多日軍突入城內，慘烈的巷戰開始，城內中國守軍同日寇展開了激烈的巷戰。儘管日軍佔據了全莊的三分之二，但堅守在南關一帶的中國守軍至死不退，死守陣地，目的是爲了外線部隊完成對日軍的反包圍。這是李宗仁早已制定好的作戰計劃，讓參謀長封裔忠部以部分兵力死守臺兒莊，守軍儘量拖住敵人，以便莊外的大軍將日寇團團圍住，來個甕中捉鱉。28日，日軍攻入臺兒莊西北角，謀取西門，切斷中國守軍第31師師部與莊內的聯繫。該師師長池峯城指揮，以強大炮火壓制敵人，並組織數十名敢死隊員，與敵肉搏格鬥。湯恩伯軍團關麟徵第52軍和王仲廉第85軍在外線向棗莊、嶧縣日軍側背攻擊。
3月29日，日軍瀨谷支隊再以兵力支援，並佔領了臺兒莊東半部。29日，林蔚轉述蔣介石的電令 ：臺兒莊屏障徐海，關係第二期作戰至巨，故以第二集團軍全力保守，即存一兵一卒，亦須本犧牲精神，努力死拼，如果失守，不特全體官兵應加重罰，即李長官、白副總長、林次長亦有處分。31日，國軍守軍將進入臺兒莊地區的瀨谷支隊完全包圍。是時，阪本支隊由臨沂轉向臺兒莊馳援，到達向城、愛曲地區，側擊第20軍團。該軍團即命第52軍和剛到的第75軍圍攻阪本支隊。激戰數日，予日軍以重創，使其救援瀨谷支隊的計劃落空。磯谷師團見救援無望，決定以死相拼，一個個殺紅了眼。國民黨軍隊雖以5倍的兵力圍攻，並付出極大的傷亡代價，但難以將敵人消滅，戰爭一時呈膠着狀態。
國軍反擊
1938年4月3日，李宗仁下達總攻擊令。第20軍團湯恩伯部之第52軍、第85軍、第75軍在臺兒莊附近向敵展開猛烈攻勢。日軍拼力爭奪，佔領大部分街市。國軍展開街壘戰，逐次反擊，肅清敵人，奪回被日軍佔領的街市。4日，中國空軍以27架飛機對臺兒莊東北、西北日軍陣地進行轟炸。當晚，日軍瀨谷支隊力戰不支，炸掉不易搬動的物資，向嶧縣潰逃。
4月6日，李宗仁趕到臺兒莊附近，親自指揮部隊進行全線反擊，4月7日凌晨1時，中國軍隊吹響了反攻的號角，以孫連仲第2集團軍爲主組成的左翼兵團和以湯恩伯第20軍團爲主組成的右翼兵團在臺兒莊及其附近地區大舉反攻。一直防守遭攻的孫連仲部，聽說反擊，神情振奮，命令一下，殺聲震天。雙方便展開了巷戰、肉搏戰，一時間，臺兒莊城內槍林彈雨，血流成河。日軍頭一次遭到了國民黨軍隊的如此頑強進攻，很快便潰不成軍。臺兒莊北面，槍炮聲漸密，湯恩伯軍團已向敵人開火。磯谷知已陷入反包圍圈，開始動搖，下令部隊全線撤退。此時敵軍已成強弩之末，彈藥汽油也用完，機動車多被擊毀，全軍喪魂落魄，狼狽逃竄。李宗仁命令部隊猛追，敵兵遺屍遍野，各種輜重到處皆是，磯谷本人率殘部拼命突圍。
激戰4天，國軍重創日軍瀨谷支隊、阪本支隊，其餘日軍殘部於7日向嶧城、棗莊撤退。至此臺兒莊戰役勝利了。臺兒莊會戰，在李宗仁的親自指揮下，擊潰日軍第5、第10兩個精銳師團的主力，殲滅日軍2萬餘人，繳獲大批武器、彈藥，嚴重地挫傷了日軍的氣焰，是國民黨戰場在抗戰初期取得的一次大勝利。振奮了全民族的抗戰精神，堅定了國人抗戰勝利的信念。臺兒莊當面的敵人，於六日晚被中國軍隊的總攻擊所夾擊。……此次戰鬥敵傷亡2萬多人，擄獲步槍1萬多枝，重機槍931挺，步兵炮77門，戰車40輛，大炮50多門……
