日本侵略軍1937年12月13日和27日相繼佔領南京、濟南後，爲了迅速實現滅亡中國的侵略計劃，連貫南北戰場，決定以南京、濟南爲基地，從南北兩端沿津浦鐵路夾擊徐州。
按原定作戰方案，徐州以北保衛戰，由第5戰區副司令長官兼第3集團軍總司令韓復榘指揮，豈知駐紮山東的韓復榘，大敵當前，還爲保存實力打小算盤。1937年12月23日，日軍一部攻陷歸仁鎮後，韓復榘未戰而走，造成了嚴重後果。27日，濟南失守，日軍由博山、萊蕪進攻泰安。1938年1月1日，泰安落入日軍北方軍第2軍磯谷廉介之手。韓復榘連連喪池失地，致北段津浦路正面大門洞開，使日軍得以沿線長驅直入，給徐州會戰投下陰影。李宗仁屢屢嚴電韓復榘奪回泰安，並以此爲根據地阻截南下之敵。韓復榘對李宗仁的命令置若罔聞，一錯再錯。爲此，韓遭到蔣介石槍斃的處置，由孫桐萱代任其職。韓復榘的不戰自退，非但使中國軍隊失去了黃河天險，更將濟南、泰安等地拱手讓敵，其後果之惡劣，實難形容。他也因此成爲在抗戰中第一個被處決高級將領。
臺兒莊地處蘇魯交界，位於棗莊南部，地處徐州東北30公里的大運河北岸，臨城(今棗莊市薛城區駐地)至趙墩的鐵路支線上，北連津浦路，南接隴海線，西面毗鄰南四湖，爲山東南大門、徐州之門戶，乃是南下徐州的最後一道屏障，舉世聞名的京杭大運河橫貫全境，自古是南北漕運樞紐，戰略位置十分重要，歷史上爲兵家必爭之地，是日軍夾擊徐州的首爭之地。
