4月4日清晨，李宗仁與孫連仲在第二集團軍指揮部會面之時，蔣介石在武漢發(fā)出了“4月10日前消滅臺兒莊之敵”的命令。

這位國民政府的最高統(tǒng)帥，此刻為臺兒莊之役，他在武漢國民政府軍事委員會作戰(zhàn)室里亦是徹夜未眠。他深深懂得在這關(guān)鍵時刻，作為最高統(tǒng)帥，他的一言一行都至關(guān)重要。蔣介石眼睛一眨也不眨地注視著，參謀人員用手在一面地圖上，不斷移動著標繪著各種顏色的箭頭和標志，心里思索和謀劃著臺兒莊前線戰(zhàn)斗的發(fā)展進程……窗欞已射入一束陽光，他的眼睛仍在全神貫注地注視著參謀人員的動作和面前的大如墻面的地圖。

當時針指到8點時，蔣介石忽地站起身來，向參謀總長何應欽下達指令：命令第五戰(zhàn)區(qū)全體參戰(zhàn)官兵，務于4月10日前消滅臺兒莊之敵。首先擊退敵人之部隊，賞洋10萬；出力將士從優(yōu)敘獎。如限期內(nèi)仍不能消滅該敵，師長以上各級指揮官一律以軍法從事。

何應欽將此令作為電文，拍發(fā)徐州。

李宗仁接到電令，亦向在臺兒莊對日作戰(zhàn)的各部官兵重申此令。

電謂：“委座嚴令諒已奉悉，本長官亦對先立功之部隊加賞10萬元，望各努力，勿干法紀。”

第一戰(zhàn)區(qū)司令官程潛，也來電指示：“會戰(zhàn)參加部隊，多屬本戰(zhàn)區(qū)序列部隊，望各服從李長官如服從本長官一樣，凜于國軍一體，休戚相關(guān)之精神，望鼓勵所屬奮發(fā)圖強，為國立功。本長官亦刻日前往徐州，協(xié)助德公指揮。委座及李長官懸賞首先擊退該敵之部隊，獎洋10萬元，本長官亦加賞10萬元。”

中國軍隊將在臺兒莊圍殲日軍的消息傳出后，各國記者終日圍在武漢軍委會新聞處等搶新聞。一些有門路的記者，捷足先登，由《大公報》特派員范長江和《新華日報》特派員陸詒陪同，從武漢乘車趕往徐州。4月4日下午，在徐州附近的九里山下，他們乘坐的火車遭到日機空襲，記者們慌忙下車到原野躲避。敵機飛得很低，低翔著的機翼上的日文清晰可見。一陣狂炸后，敵機離去，幸虧列車無恙，他們才又上車到達徐州。

這些冒著生命危險，趕往前線做戰(zhàn)地報道的記者們，一下火車就興沖沖地到第五戰(zhàn)區(qū)指揮部，想先見見戰(zhàn)區(qū)司令長官李宗仁。這兒的官員告訴他們，李宗仁正在臺兒莊前線指揮作戰(zhàn)。記者們爭著要到臺兒莊去，官員們予以謝絕，不敢答應他們的要求。臺兒莊激烈的戰(zhàn)斗還正在進行，這些舞筆弄文的記者去了實在危險。

4月4日，守衛(wèi)臺兒莊的孫連仲第二集團軍，正與強勁的日軍瀨谷旅團作最后的抗爭，疲軍再戰(zhàn)，十分殘酷。不過，經(jīng)前一日深夜組織敢死隊夜襲，守衛(wèi)城池的官兵已爭取到絕對的主動地位。加以張廣厚炮兵營又經(jīng)補充裝備，他們的精確發(fā)射，對退至臺兒莊北門仍三番五次妄圖重新攻進城內(nèi)的日軍，屢次予以沉重打擊。將近中午時分，中國空軍助戰(zhàn)，9架雄鷹突然出現(xiàn)在臺兒莊上空。這是臺兒莊戰(zhàn)斗以來，還沒有過的事情。當時，敵人仍認為是他們的飛機，起立歡呼，以顯示前線中日部隊的雙方位置。守城的中國士兵，常遭敵機轟炸，一見飛機，忙俯下掩蔽。等飛機接近時，方認出是中國空軍，頓時無不歡呼雀躍。不作隱蔽的日軍，頃刻間被炸得死尸縱橫。

在孫連仲、池峰城組織的敢死隊，又奪回臺兒莊四分之三城池之時，湯恩伯部的五十二軍和八十五軍，已對臺兒莊周圍的日軍發(fā)起攻擊。遠則炮轟，近則槍擊、肉搏，使日軍聞風喪膽。關(guān)、王兩軍，相繼收復了臺兒莊東面的甘露寺、楊樓、陶墩等據(jù)點，從而解除了臺兒莊東北方面日軍的威脅。

得知湯恩伯軍已向磯谷師團合圍，戰(zhàn)斗在臺兒莊右翼的黃樵松第二十七師的官兵精神振奮，憑借著構(gòu)筑在黃林莊一帶的散兵壕，向日軍發(fā)起更為猛烈的攻擊。黃樵松讓由他的秘書、共產(chǎn)黨員于挽中、張之強兼任正副主任的戰(zhàn)地服務團也走向前線，組成“拉拉隊”，以唱戰(zhàn)歌，打快板，呼戰(zhàn)斗口號鼓舞士氣。黃樵松師長最器重這支隊伍，他們戰(zhàn)時在陣地宣傳鼓舞士氣，戰(zhàn)后收容服侍傷員，行軍時檢查紀律，宛如一條堅韌的紐帶，使第二十七師的官兵緊密團結(jié)，頑強戰(zhàn)斗，不怕流血，不怕犧牲。

日軍向來視其“武士道精神”舉世無雙，此次在臺兒莊戰(zhàn)斗中，卻也為中國士兵不怕犧牲的精神所感動。與黃樵松二十七師激戰(zhàn)數(shù)日的磯谷師團赤柴八重藏的步兵第十聯(lián)隊，就對中國軍人十分佩服。在這個聯(lián)隊4月5日的《戰(zhàn)斗詳報》中，有這樣一段記載：

敵軍27師的第80旅，數(shù)日以來，其戰(zhàn)斗精神，其決死勇戰(zhàn)的氣概，無愧于蔣介石對他們的極大信任。他們憑借著散兵壕，全部頑強抵抗直至最后。該敵在狹窄的散兵坑內(nèi)，重疊相枕、力戰(zhàn)而死之狀，雖是敵人，觀其壯烈之態(tài)，亦為之感嘆。戰(zhàn)斗中曾使翻譯勸其投降，但無一應者。

敢于戰(zhàn)至尸山血海，此種精神并非獨為皇軍所特有。為皇軍計，對此應有所警惕！……

4月5日，作垂死掙扎的日軍不顧國際公法，極其殘忍地對守衛(wèi)臺兒莊的中國部隊使用了催淚彈。然而，戰(zhàn)斗在臺兒莊陣地的中國士兵，閉著眼睛沖殺、擲手榴彈，死也不下火線。

這天，日軍設(shè)在棗莊的汽油庫，被一支由礦工和學生組成的“抗日義勇軍”焚燒。磯谷師團設(shè)在泥溝車站的彈藥庫也被張廣厚炮兵團的重炮擊中，在爆炸聲中化為灰燼。

進犯臺兒莊的日軍已到了窮途末路。第五師團長板垣受命，派遣支隊長坂本，擁步兵四個大隊、野炮兩個大隊和一個騎兵隊，前來救援磯谷。但是，行至半路，就受到關(guān)麟征第五十二軍的攔截，幾經(jīng)較量，于5日晚被關(guān)部第二師、第二十五師合圍在臺兒莊北邊的肖汪村。第十師團長磯谷廉介得知，急令本師團瀨谷支隊從臺兒莊方面抽出兵力前去解圍，又被關(guān)麟征軍擊退。

4月6日3時，第五戰(zhàn)區(qū)司令長官李宗仁下令向日軍發(fā)起全線進攻。他命孫連仲第二集團軍集中于臺兒莊陣地清除殘敵，令湯恩伯第二十軍團在臺兒莊外圍殲滅日軍。

擔任主攻臺兒莊的日軍瀨谷旅團，首先受到湯恩伯軍團的側(cè)擊。瀨谷驚恐萬狀，急下令集合部下，迅速撤出戰(zhàn)斗，向泥溝方向移動，有退卻之勢。

磯谷廉介聞訊大怒，在電話中嚴厲訓斥瀨谷，說他不該無令后撤，并命他立刻回轉(zhuǎn)并展開攻勢，再攻進臺兒莊去。

對磯谷廉介向來唯命是從的瀨谷，一反常態(tài)，對著話筒反駁磯谷說：“這許多天，我們拚死命也沒有攻下臺兒莊。今日人家援軍又到，我前后受敵，眼看要被殲滅，你還說什么夢話？”

11時前后，據(jù)偵察兵報告，泥溝方面之敵，向臺棗支線以東攻擊。在肖汪附近之敵，也向五十二軍陣地反撲。

軍長關(guān)麟征判斷，這是敵人企圖退卻前的反撲征候，他立即令第一線部隊不失敵蹤，繼續(xù)攻擊；同時令炮兵向敵占村落北面道路不斷射擊。傍晚時分，發(fā)現(xiàn)敵坂本支隊沿臺棗支線東側(cè)向北面撤退。這時，接八十五軍軍長王仲廉電話：在泥溝一帶的瀨谷支隊也乘夜沿臺棗支線兩側(cè)紛紛向北潰逃。

面臨被圍殲之災的日軍，臨逃跑前，將來不及帶走的糧食、被服，毫不猶豫地縱火焚燒；將因沒有汽油開不走的汽車，和汽車拖帶的大炮，連同彈藥全部炸毀。然而，他們對被打死的同胞的尸體卻格外關(guān)心，將其堆成一堆一堆，點火焚燒之后，將骨灰裝在尸袋中帶走，說是帶著戰(zhàn)死的同胞回老家。可當他們剛剛退出臺兒莊戰(zhàn)場，就遭到關(guān)麟征五十二軍和王仲廉八十五軍的追擊。許多出逃的日軍，也同他們背在肩頭的尸袋中的同胞一樣，死在臺兒莊的土地上。

傍晚時分，孫連仲第二集團軍，正進行著肅清臺兒莊內(nèi)殘敵的最后戰(zhàn)斗。一部分來不及撤退的日軍，被死死封鎖在城內(nèi)。這是臺兒莊之戰(zhàn)最為壯觀的時刻；中國士兵勝利在望，精神抖擻；日軍拼命向外突圍，格外瘋狂。最后，在臺兒莊城內(nèi)東北角，有200多個日軍見突圍無望，將槍彈打光，竟集體剖腹自殺。

這是自“七七事變”以來，日軍在中國的最為慘重的一次失敗。磯谷廉介這時徹底絕望了，為“大日本帝國”造成如此巨大的軍事失敗和政治損失，他已感到羞愧難當，準備剖腹自殺以謝罪于天皇。他正在第十師團指揮部內(nèi)手握軍刀，來回走動，下自殺決心的時刻。忽見參謀遞來一封電報：

令第十師團進入嶧縣，準備接受新任務。

第二軍司令西尾壽造

磯谷看后，兩眼癡癡地盯著前方，神情木然地站著不動。他心里明白，這是他的老師，在他最為難堪的時刻，給他送來一個下臺的階梯，使他比較體面地退出戰(zhàn)場，以掩飾其慘敗之羞。可是，西尾壽造曾經(jīng)一再對他說過的話：“帝國軍人的榮譽感和恥辱心比生命還要珍貴”，又在他的耳邊鳴響。磯谷此時此刻，似乎在默默自語；

“老師啊老師，今日你救學生一死，可心靈的不安和長久的自責會使我更為痛苦。”

經(jīng)過一番苦思冥想，磯谷對生的欲望終于戰(zhàn)勝了“恥辱心”。他按照西尾壽造的指令，命所屬殘部向嶧縣撤去。

4月7日清晨，臺兒莊內(nèi)肅清殘敵的戰(zhàn)斗結(jié)束后，李宗仁下令湯恩伯第二十軍團向北追擊敵軍。磯谷殘部在北撤途中，被第二十軍團五十二軍、八十五軍緊追猛打，殺了兩個晝夜，日軍喪魂落魄，逃至嶧縣縣城，閉門不出。4月8日拂曉，第五十二軍搶先追至嶧縣東側(cè)的九頂山，向以此山為陣地而確保嶧縣的日軍展開攻擊。當王仲廉八十五軍和孫連仲部，沿臺棗支線以西，追至嶧縣以南地區(qū)時，關(guān)麟征的五十二軍已攻占了九頂山。

由河南前來參戰(zhàn)，同孫震第二十二集團軍殘部共同防衛(wèi)韓莊、臨城一線的張軫第一一?師，也于4月7日北進，向撤退途中的磯谷師團猛攻。張軫第一一?師，先克復南洛，后進兵嶧縣西南八里屯，控制有利地形，圍攻嶧縣殘敵。