豫東戰役的失敗,使鄭州和平漢鐵路受到嚴重威脅。日軍欲奪取鄭州、許昌,其戰略意圖不僅為切斷我平漢路鄭漢段運輸聯絡,更在于南進武漢,西迫洛陽、西安,進而窺視我西南大后方。故能否守住鄭州至許昌一線,與整個抗戰局勢關系極大。

蔣介石決定炸開黃河大堤,制造水障,以陽止日軍西進。以黃河泛濫來達到軍事目的,在中國歷史上不鮮見,蔣介石的這一主張并非臨時產生。早在1937年7月間,他的德國首席顧問法肯豪森就曾提出建議“將黃河決堤”以阻止日軍。

當時眾多國民黨要員曾向蔣介石提過“以水代兵”的建議,只是各自提出的決堤口和目的稍有不同而已。1938年4月13日,正當臺兒莊戰場上中國軍隊追擊部隊攻擊敗退峰縣附近的日軍時,陳果夫曾致函蔣介石,準備在河南武陟縣的沁河口附近決黃河北堤,電文稱“臺兒莊大捷,舉國歡騰,抗戰前途或可從此轉人佳境。唯黃河南岸千里,頗不易守,大汛期間且恐敵以決堤攻我,我如能取得武陟等縣死守,則隨時皆可以水反攻制敵。蓋沁河口附近,黃河北岸地勢低下,若在下游任何地點決堤,只需將沁河口附近北堤決開,全部河水即可北趨漳、衛(即漳河與衛河),則我之大危可解,而敵則居危地”當時,陳果夫是為了“恐敵以決堤制我”而建議采取的反措施。蔣介石對于此建議不置可否,僅批示:“電程長官核辦。”

隨著戰事的發展,徐州失守后,越來越多人傾向于“水攻”。5月21日,姚琮電建議在劉莊、朱口決堤，“黃河舊險地方在考城以東者如河北之劉莊、魯省之朱口,倘即刻施以決口工作,更于舊河道下游多拋埋柳枝,則河水必改道南向,一時造成泛濫區域,雖不能淹沒敵軍,至少可使其行動困難,全局情勢必將改觀。

5月26日,何成璞向參謀部建議:“查黃河現屆桃汛,考城西尤以蘭封屈折部沖力最猛,倘施工決口,則黃水即循故道直奔徐州,不特大地泛濫,使敵機械化部隊失其效能,抑且足以摧毀其戰力,使其打通津浦之企圖仍歸泡影,幸及早圖之。當日軍于6月1日占領睢縣,迫近蘭封、杞縣時,第一戰區司令長官程潛即決定決堤,并通過侍從室主任林蔚向蔣介石請示,得到蔣的口頭同意。

早在武漢行營時,就曾擬過兩個方案,一是必要時將鄭州付之一炬,使敵人徒占廢墟無可利用。二是水攻。火焚鄭州只能起堅壁清野作用,戰略意義不如決口黃河。因為敵人相當部分是機械化部隊裝甲車、卡車、火炮牽引車多至千余輛,滔滔大水中,必寸步難行。決堤,既可以水淹死敵之先頭部隊,更可將主力隔絕在西進路上,不戰而達戰略目標。

蔣介石最終決定決開黃河大堤,以泛濫的洪水來阻止日軍的攻勢。由于“決口事關重要”,第一戰區召集黃河水利委員會及有關河防的軍政人員開會,研究決堤位置,最后選擇中牟縣趙口。蔣介石回電批準,令在中牟以北黃河南岸選定地點決堤,讓河水在鄭州、中牟之間向東南泛濫,以阻敵西犯,并要求在4日子夜放水。

程潛將決堤任務交給了第二十集團軍總司令商震,經與參謀長魏汝霜商酌,派五十三軍一個團具體執行,決口地點定在趙口。一切準備就緒,6月4日晨,趙口決堤破土,次日又加派第三十九軍一個團協助,并懸賞法幣千元,以圖加快速度。當晚,工兵營用黃色炸藥和地雷炸開堤內斜面石基,但由于估計不足,對堅厚的基石與護坡石力不從心,又由于黃河“春冬水落”,水發量小,“僅流丈余即因決口兩岸內斜面過于急峻,遂致傾頹,水道阻塞不通”,未能如期完成。

當時正值日軍拼力攻打開封,蔣介石十分焦急，于6月5日凌晨命令商震:“此次決口,有關國家命運,沒有小的犧牲,哪有大的成就?"商震哪敢怠慢,即赴趙口現場督察,下午8時,工程兵實施爆破又因種種原因,前功盡棄。

于是,商震又派一團士兵在第一道決口以東30米處掘第二道決口。費了九牛二虎之力,口是開成了,但由于水位繼續下降,開掘之初,主流接近南岸,完工時,口外有暗沙阻隔,因此只有少量河水流出,且又不急。一小時后坑道鑿成,裝填炸藥起爆,又嘩嘩涌出。眾人皆歡喜,正欲向上報捷時,接連塌方,又把決口堵塞。趙口第三次決堤,又告失敗!

6日凌晨,日軍攻占了開封,兵鋒直指鄭州,蔣介石從商震處得報趙口決堤三次勞而無功,心急如焚,一日數次電摧進展情況。但是,在決堤現場的魏汝霖,指揮程潛、商震除了憂心如焚,也拿不出實質性的解決辦法。

這時,擔任黃河鐵路守備的新八師師長蔣在珍“毛遂自薦”,建議在鄭縣的花園口另作第三道決口。蔣在珍對河工水利頗感興趣并有所研究,趙口決堤期間,常去那里觀看,見三次決堤都失敗了深思熟慮后,提出了此建議。蔣介石、商震經過商討研究后決定采納。

6日深夜11點,蔣在珍在師部召集參謀處、副官處及團以上官佐會議,作如下布置:決口地點,花園口龍王廟西側;動工時間,7日上午7點;投人兵力,兩個團加1個工兵連。會議結束,副官處連夜籌集工具準備第二日的決口工作。

7日晨，蔣在珍在花園口設立指揮部，架設專線與商震保持聯系,隨后傳令在花園口關帝廟西破土。為了加快速度,800名精壯士兵,編為5個組作業,每兩小時一輪換;每個組又分作兩班,分別負責挖掘與搬運,同時“由堤之南北同時動工”

花園口第三道決口吸取趙口決口塌方的教訓，加寬至50米,斜面徐緩,使放水時不致頹塌阻塞。

日軍占領開封后,沿許昌、尉氏公路向新鄭挺進,以圖快速打通平漢、津浦、隴海三線,造成直指武漢之勢。形勢危急,蔣在珍與副師長朱振民、參謀處長熊先煜,不論白天黑夜,輪班在工地上往來巡視,加以督導,官兵更是竭盡全力趕工。

6月9日晨6時,炸藥炸毀了堤內斜面石基,9時放水,軍士劃船至堤坎旁,將坎挖開，“初水勢不大,約一小時后,因水沖刷,決口擴至10余公尺,水勢遂益猛烈。"決堤成功!蔣在珍又調來炮兵,對準已挖薄的堤岸,平射轟擊,連開六七十炮,缺口迅速擴大了七八米,“水勢驟猛,似萬馬奔騰。

當時正值大雨,決口愈沖愈大,水勢漫延而下，12日，又與趙口被沖開的水流匯合,沿賈魯河南流,使賈魯河、渦河流域的鄉村、城鎮成一片汪洋。水流淹沒了中牟、尉氏、扶溝、西華、商水一帶,形成一條廣闊的水障。急流的黃河水注入淮河時,淹沒了淮河堤岸,7月13日沖斷了蚌埠淮河大鐵橋,蚌埠至宿縣一帶,亦成澤國。整個黃泛區,由西北至東南,長達400余公里,途經豫、皖、蘇3省44縣。

花園口、趙口決堤,在軍事上取得了暫時的成功,給日軍西進平漢線造成了困難。日軍官方文件中記載，“中國軍隊6月10日左右于鄭州東北掘開黃河堤防,使黃河水向東南方向涌出,采取了水淹戰術,淹沒了自己的廣大沃野,形成了經中牟、尉氏、周口、阜陽連接淮河的大地障,給我軍行動造成極大困難。

日軍各部隊均停止了追擊,第十四師團的一部被洪水圍于中牟縣城;位于泛濫區中心的日軍第十六師團一部來不及撤走的車輛、火炮、戰車等重武器均沉于水底,并沖走、淹死一批士兵。日軍航空兵以飛機投食物、醫藥及救生設備共61噸半:位于泛濫區以東的日軍也迅速后撤:被洪水隔于新鄭以南的第十六師團第三十旅團的5個大隊就地組織防御,也是靠空投解決軍需物資,最后由日軍第二軍派出的船艇隊將其撤回。日軍損失重大，“洪水到處，日軍驚恐萬狀,東奔西突,人馬踐踏,車、馬、人員淹沒不計其數。

日軍為了援救被滾滾洪水困住的士兵,不得不抽調大批部隊以及汽艇、船只、彈藥、給養向西運去。日方資料這樣記述第十四師團當時的情形:“華北戰場勇猛善戰的土肥原兵團,頓時陷入一片汪洋之中,顧不得物資和馬匹,紛紛逃向隴海路兩旁路基上和中牟縣城里避難,以圖喘息，…中國派遣軍、關東軍以至日本全國,為營救土肥原兵團動員了所有的鐵舟部隊工兵隊，與敵彈洪水搏斗一月，才救出了土肥原兵團。”29日，日軍在徐州舉行聯合追悼大會,僅第二軍死于洪水人數便達到7452名之多

中國軍隊乘機向被圍因的疲憊日軍發動進攻，日軍此時已無力反擊,經常大部潰逃,一直到“7月7日左右,才脫離浸水地帶的難關”。

黃河決口在軍事上達到了預定的效果,粉碎了氣焰囂張的日寇奪取鄭州后(當時統帥部已決定放棄鄭州)迅速南取武漢、西襲潼關的企圖,并且使日軍進行武漢會戰的進軍路線也改變了，退至鄭州一帶的中國軍隊也免去被追擊之苦了。

然而,黃河的泛濫洪水也給下游中國老百姓帶來巨大災難,豫皖、蘇三省的近百萬人水中喪生,無數的住宅被沖垮,不盡良田被淹沒,據統計，“河南民宅沖毀140余萬家,耕地陸沉800余萬畝,安徽江蘇耕地陸沉1100余萬畝,傾家蕩產者480余萬人。”但毋庸置疑,日本帝國主義發動的侵華戰爭是造成黃河泛濫的主要根源。