1938年3月26日，磯谷廉介得知大汶口日軍機場被毀，氣得像發瘋了的猛獸，歇斯底里地吼叫一聲，遂令瀨谷調動劉家湖附近的全部野炮，集中對臺兒莊發射。一時間山搖地動，臺兒莊的房屋，幾乎全被摧毀，鎮內烈焰滾滾，上空烏煙籠罩。

好則臺兒莊一帶的耕地之下，盛產石塊，居民住宅，多壘石為墻。守衛城池的三十一師的官兵，就憑著一家一戶的石壘院墻作為堡壘，在硝煙火海中同日軍堅持戰斗。

27日下午1時，大概瀨谷覺得整個臺兒莊全都在兇猛的炮火之下化為灰燼了。他下令停止炮擊，催促一隊日軍由11輛坦克開路，試探著向臺兒莊挺進。當這11輛坦克，行至離臺兒莊城400米的地方，心里憋著一團怒火的城壕里的三十一師官兵，一躍而起，揮起手榴彈，向著敵坦克猛擲猛炸。敵坦克兵見城壕里仍有眾多守軍，先是吃了一驚，遂開動機槍，對著三十一師官兵猛沖猛射，三十一師官兵有300余人被殺傷軋死。在這緊急關頭，布防在運河南岸的張廣厚炮兵營發揮了威力。防御炮瞄準精確，一連擊毀敵坦克6輛，其余5輛倉惶逃遁。坦克后邊的日軍步兵，見坦克受阻，也龜縮不進。

幾乎整整一個上午的重炮狂轟，守衛臺兒莊的三十一師官兵仍堅守陣地，使得瀨谷十分懊惱。他遂調動所率領的全部兵力，對三十一師的陣地發動總攻。

戰斗緊張激烈地進行著。

傍晚時分，一隊持有步兵小鋼炮的日軍，由城西北角被炮彈炸開的缺口突然沖入。王冠五旅長一見，急得雙目冒火。他一聲吶喊，揮動大刀從一座掩體堡壘中沖出，率先殺向入城日軍。

三十一師槍械相當落后，大部分官兵仍配備著大刀，而且被算作正式武器，列為軍事訓練的正式課目。

見王旅長已率先掄刀殺入敵陣，士兵們也都舞刀而起，向前沖鋒，與日本鬼子展開白刃格斗。掄大刀，是三十一師官兵的“看家”本領，其刀法都十分嫻熟，與敵短兵相接，也最有功效。一時間，如砍瓜切菜，許多日軍的頭顱與軀體分家，一部分日軍的小鋼炮也緘默無言。

然而，守城官兵的血肉之軀，怎能抵擋得住敵人猛烈的炮火。不多時辰，王冠五指揮下的官兵就傷亡過半，但他們仍一街一宅地頑強抗拒著日軍的攻勢。

擔任誘敵任務，于23日傍晚退至南洛的三十一師第一八三團高鴻立營也遭到日軍猛攻。

27日上午，當日軍的重炮狂轟臺兒莊之時，高鴻立營官兵在乜子彬旅長的率領下，向敵設在劉家湖一帶的炮兵陣側背，進行多次攻擊。營長高鴻立赤膊上陣，一手持槍，一手持刀，身先士卒，沖入敵陣，率部和敵人展開殘酷的肉搏戰，使得日軍機械化部隊施展不開，受到重大創傷。

高鴻立視死如歸、忘我殺敵的英雄氣概，受到官兵和當地民眾的高度贊揚，并被傳為“活張飛血戰劉家湖”的佳話。

27日下午，日軍在進攻臺兒莊的同時，也對第一八三團設在南洛一線的外圍陣地發起猛攻，使第一八三團傷亡千人以上，王郁彬團長和高鴻立營長不幸負傷，張彬波營長傷重陣亡。苦戰至28日凌晨，池峰城師長令乜子彬旅長率第一八三團殘部，退回運河南岸，并令第一八一戴炳南團固守南洛，繼續襲擾敵劉家湖炮兵陣地。

3月28日，瀨谷敦促攻城日軍繼續向三十一師陣地攻擊。孫連仲一邊令池峰城堅守殘垣斷壁的臺兒莊，一邊敦促黃樵松、張金照兩翼部隊，主動出擊，以攻代守。

第五戰區司令長官李宗仁，見敵磯谷師團之主力逐漸集中于臺兒莊一帶，圍殲的時機已經成熟，便電令湯恩伯第二十軍團，立即從駐扎的山地南下，從北面對已誘到臺兒莊的日軍實施戰役合圍，與孫連仲第二集團軍一起，圍殲磯谷師團。

湯恩伯接令卻按兵不動。李宗仁三令五申，湯軍團仍在姑婆山區逡巡不進?？磥恚尚熘輥硐虺牵方浥_兒莊時向池峰城師長的許諾，全是空話。湯恩伯的下屬，第五十二軍軍長關麟征了解他，知他是一個有口能說天花亂墜，但說后又不算數的莽漢子。而且，湯恩伯一向飛揚跋扈，目無法疲，再加上“最高當局”對其一貫縱容，就更不知天高地厚。

此時，在這圍殲日軍磯谷師團的關鍵時刻，他仍憑借屬蔣介石的嫡系，而故意貽誤軍機的做法，使關麟征十分不滿。關去到第二十軍團指揮部，向湯恩伯要求出戰，說：“養兵千日，用兵一時。眼下圍殲日軍的時機成熟，我們應奉命出擊，去痛痛快快地打個勝仗才是。”

向來居功自傲、自以為是的湯恩伯怎聽得下他的勸諫，他臉色一紅說道：“你知道什么，臨沂板垣師團雖由龐炳勛、張自忠兩軍糾纏，未能南進，但時時對我部虎視眈眈。如我出兵臺兒莊，磯谷師團再殺個回馬槍，板垣、磯谷會將我軍作為盤中餐，合圍而殲！”

關麟征一聽，氣得將胸前國民政府頒發的一枚青天白日勛章往地上一摔，說：“國家期望我們，人民期望我們。我們被譽為功臣的人，怎好在大敵當前之際而貪生怕死！”

關麟征堪稱為抗日以來的一員烈將。1933年2月，他在第十七軍任師長，奉命隨軍部開赴長城古北口抗日。為了奪取潮河支流對岸高地有利地形，關麟征親率一個戰斗團反擊日軍。是時，雙方短兵相接，戰斗相當慘烈。他身旁已有10余名官兵戰死，他也被敵人的手榴彈炸傷5處，渾身是血。但他仍力戰不退，從容指揮全團官兵英勇殺敵，終于擊退了日軍，占領了高地。他率全師官兵赴古北口之后，3天戰斗就殲滅敵軍2000余人。為此，國民政府特為關麟征頒獎，將一枚青天白日勛章掛在他的胸前。同時，《大公報》主筆張季鸞亦親自撰寫社論“愛國男兒，血灑疆場”，以賀其功。

當關麟征請戰不允，賭氣在湯恩伯面前摔下勛章之時，第八十五軍軍長王仲廉也前來請纓出戰。這許多天來，王仲廉一直為未能督軍解滕縣之圍，致使王銘章師長殉國、全軍覆沒而感到愧疚。此次如果再不及時趕往臺兒莊參戰，作為一個堂堂中華軍人，真是無法立身于天地之間。此刻，雖然他眼見湯恩伯與關麟征為出兵與否正僵持不下，卻也不顧湯恩伯面色如何，心急火燎地說道：“湯司令，下令出兵吧，我們不能再貽誤軍機了！”

見自己下屬的兩個軍長，都正氣凜然地站到他的面前要求出兵，湯恩伯只得離開座位，彎腰拾起勛章，為關麟征重新戴到胸前，說：“諸位都欲出戰立功，我能不想？可我是第二十軍團統帥，得為全軍著想，請諸位容我三思?！?/p>

戰情已容不得他“三思”。關麟征、王仲廉二軍長還未離開，李宗仁又給湯恩伯拍來電令；“如再不聽軍令，致誤戎機，當照韓復榘的前例嚴辦！”

在李宗仁接二連三電令湯恩伯揮師南下之時，臺兒莊的戰情更為嚴峻。

3月29日上午，一批批日軍車輪式地對臺兒莊連續猛攻，王冠五率城內官兵奮力反擊，但傷亡慘重，眼看手下兵力所剩無幾，不得不向池峰城告急。池峰城將在范村、官莊，以及在運河南岸布防的所有三十一師的部隊，逐一調入城中，充實一線陣地。由于敵軍攻勢猛烈，這些被充實進去的部隊，往往是整營整營的陣亡，拿當時的話說，就是“填進去了?！?/p>

臺兒莊城內戰斗之慘烈，由此可想而知。

中午時分，張自忠從臨沂給第二集團軍參謀處處長何章海拍來電報，他們二人交往甚密。張自忠告訴何章海，3月中旬被擊退的板垣師團又卷土重來臨沂，而且，勢在南侵。他的五十九軍竭力攔截，與之拚戰，戰斗十分激烈，大有不支之勢。

何章海將這一情況告訴孫連仲，孫連仲大瞪著眼說：“我軍與磯谷師團晝夜相拚，官兵傷亡這樣慘重，如果東北方的板垣師團再下來，我們該怎么辦？”

何章海說：“司令，您趕快與湯恩伯聯系，請他火速進兵，先將磯谷師團圍殲。”

孫連仲嘆了口氣說：“難說，難說。李宗仁長官三令五申，他還按兵不動?！?/p>

何章海說：“您親自致電懇請，也許有效。湯恩伯在抗戰開始以來經常向我們說，第二集團軍和他的第二十軍團是親密的兄弟軍，彼此要不失時機地互相照應。我們是履行了諾言，經常照應他，我想湯恩伯軍團一定會支援我們的。”

孫連仲趕緊令電臺臺長傅印圖向湯軍團發電聯系，不料湯恩伯卻回電說：

“我二十軍團也已腹背受敵，一時難以脫身。不過，我將盡快抽出一部分兵力，趕往臺兒莊作戰，望兄竭盡努力，再支持數日?！?/p>

忠厚老實的孫連仲信以為真，苦笑了一下對何章海說：“我們只有硬起脖梗再頂數日啦！”

見援兵無望，孫連仲只有令在左翼作戰的張金照三十師和吳鵬舉第四十四獨立旅，逐一抽調部隊，增援池峰城師，以確保臺兒莊城內作戰。

29日夜里，孫連仲在戰地召開軍、師、旅長及炮兵團長會議，重申固守臺兒莊之志，以激勵官兵作戰。

然而，攻奪臺兒莊的日軍已到了發瘋發狂的程度。3月30日，在師團長磯谷廉介敦促下，入城日軍一舉強占了臺兒莊二分之一的地方。當然，日軍為此也付出了極大的代價。礬谷廉介感到他經歷過的戰場，從來也沒有在臺兒莊辛苦，他幾晝夜都沒合眼了。

磯谷師團打得雖苦，但畢竟取得了可見的戰果，磯谷廉介將日軍占領臺兒莊1/2的地方說成3/4，電告他的上司西尾壽造總司令官。3月31日，日本同盟社發布消息說：

“華方最精銳部隊已被擊潰，皇軍第十師團已將臺兒莊占領?！?/p>

中央統帥部聞此消息，信以為真。蔣介石急令副總參謀長白崇禧和軍令次長林蔚前赴第五戰區督戰，不惜任何代價，要奪回臺兒莊。

在臺兒莊右翼作戰的黃樵松第二十七師，已開始攻奪臺兒莊的戰斗。

這些天來，黃樵松為配合池峰城固守臺兒莊，常常組織敢死隊，將攻城的日軍坦克包圍。而后由一敢死隊員抱起捆在一起的12枚手榴彈，沖向敵軍坦克，與之同歸于盡。

黃樵松教導全師官兵：“如果為國犧牲是最光榮，如果戰勝敵人、收復失地更是無上光榮?！?/p>

一聽說臺兒莊已被日軍占領，黃樵松急令營長孫遇賢率領全營官兵，準備云梯，夜間攻城。入夜，孫遇賢率部登上臺兒莊北面城墻，城墻上并無日軍守城，便順利潛入城內，用大刀砍醒了剛剛入睡的日軍，雙方在街上、宅內展開了激烈的肉搏戰。拒守在臺兒莊內南半部的三十一師的官兵，聞知二十七師的弟兄入城助戰，一時群情振奮，又奮起向日軍攻擊。侵入臺兒莊城內的日軍，在南北兩面的夾擊之下，傷亡慘重，死尸縱橫。

當黃樵松師長得知池峰城師仍在臺兒莊內固守，興奮地對部下說：“磯谷凈瞎吹牛，臺兒莊仍在我們手中！”

臺兒莊城內的戰斗愈戰愈烈，忽然從臺兒莊北邊的園上村又竄出一股日軍，欲撲入臺兒莊城內參戰。在城外督戰的黃樵松得知，即令團長杜幻鼎，率敢死隊向園上村攻擊。他并對杜幻鼎說：“那里是日軍屯兵的一個窩巢，如果你不當即率部出發，我就帶手槍隊向你攻擊！”

杜幻鼎知道黃樵松的脾氣，他下命令后決不允許部下有絲毫的猶豫，連忙回話道：“師長放心，我絕對服從命令?！?/p>

杜遂率領一隊腰間掛滿手榴彈的敢死隊員，向園上村進擊，擊潰了那股沖出園上村的日軍。

聞知中國部隊仍與侵入臺兒莊的日軍進行激烈的戰斗，氣得瀨谷火冒三丈。4月1日清晨，他令臺兒莊內殘存的日軍暫行撤離，又調動炮兵，集中火力對準臺兒莊猛轟。千余顆炮彈，從40門24生口徑的炮膛里相繼噴射而出，幾乎要將整個臺兒莊夷為平地。未等炮火蕩起的烈焰與硝煙平息，瀨谷就催促哇哇亂叫的日軍，猛向臺兒莊撲去。霎時間，日軍占領了臺兒莊城內的4/5，守城的三十一師官兵被逼在城西南角，僅占據城內的1/5.

戰斗愈來愈激烈，愈來愈殘酷，守城的三十一師的傷亡也愈來愈慘重。

在池峰城一次接一次地告急，孫連仲手下已無兵可調之時，蔣介石自武漢又直接發來急電：

“臺戰關系至巨，故以第二集團軍全力保守，即有一兵一卒亦須努力死拚。如失守，不但該軍官兵重罰，李長官、白副總長亦有處分。”

孫連仲深知此戰關系重大，但接到蔣介石的電報卻十分惱火，一時遏止不住情感大呼道：“我孫連仲軍整營整營覆沒，怎么才算全力保守呀！你的嫡系湯恩伯遲遲不動，你怎么不去懲辦他呀！”

這時，池峰城又來電話叫苦：“大哥，三十一師快打光了，可否轉轉陣地，暫時退到運河南岸？大哥，你就讓我們撤下來喘口氣吧！”

孫連仲正沒好氣，牙一咬厲聲喝道：“士兵打光了軍官填，軍官打光了你去填，你填過了我就來填，有敢退過運河者，殺無赦！”

渾身濺滿血跡、多處掛彩的池峰城打完電話，他一陣一陣地咳嗽著，不時吐出一口口鮮血。這個鐵打鋼鑄般的硬漢子，自此以往，歷次戰斗，他都只知沖鋒、前進，從來沒有想過后撤?？墒沁@次戰役，把他折磨得太苦了。

忽然，池峰城用拳頭撞了一下自己的腦門，自責道：“為何自己一次次地請示后撤？為何自己的下屬官兵也一次次喊著后撤？”

“對了，”池峰城心想，“是臺兒莊南邊的運河上有一座木橋?！?/p>

池峰城鐵青著臉又抓起電話，向工兵連下了一道命令：“立即將運河上的那座木橋炸掉。”

接電話的工兵連長稍有猶豫，池峰城怒斥道：“這是背水一戰的時刻，只許前進，不許后退，你還猶豫什么？”

隨著一聲沉悶的巨響，十分結實的木橋已蕩然無存。臨近河岸的士兵禁不住往那里望了一眼，兩岸之間只有空空蕩蕩寬不可逾的河面了。士兵們心中明白，退路斷了，只有同鬼子拚殺到底！

仍在城中堅持戰斗的官兵與城外后方的聯絡交通線，全靠出臺兒莊西門那一條大路了。而城西北角被日軍占領，敵人以機關槍火力網對出西門那一條大路嚴密封鎖。要是不奪下敵人這個據點，城內守軍將會在孤立無援的狀態下被消滅。