1948年隨著孟良崮戰役上整編74軍全軍覆沒，國民黨部隊在山東以至于整個華東地區的形勢已經岌岌可危不容樂觀。為了挽救危局，胡璉向陳誠建議摒棄前嫌，重新啟用關麟征。然而等到陳誠找到關麟征時關麟征卻對陳誠說道：如果你是讓我接替湯恩伯，那我做不到，請你另尋高明吧！

勢同水火

關麟征和陳誠都是蔣介石相當信任的國民黨重要將領。陳誠作為蔣介石早期發掘出來的國民黨將領，雖然他不是直接從黃埔畢業的學生，但是卻由于她成為了干女兒譚祥的丈夫也成為了蔣介石的干女婿，所以從組建第十一師開始平步青云步步高升。而關麟征則是蔣介石的黃埔嫡系將領，在臺兒莊大戰等一系列重要戰役中立下赫赫戰功，獲得蔣介石信賴。然而這兩位可以說是蔣介石左膀右臂的重要將領，卻長期關系勢同水火。

關麟征和陳誠之間的矛盾最早要追溯到第十一師時期。當時陳誠被任命為第十一師的副師長，但是他卻不甘居于師長曹福順的身后，一心想要成為第十一師師長，于是他秘密授意羅卓英等人向國民黨軍隊高層舉報第十一師師長曹福順的貪污行為。羅卓英在第十一師中籠絡其他黃埔嫡系將領一起寫獻言書，然而等他找到關麟征時關麟征卻予以拒絕。關說道：“陳矮個子這種手段為人不齒，而且他也沒好到哪里去！”從此關麟征和陳成二人便結下梁子，而且仇恨越積越深。

在抗日戰爭時期，關麟征已經成為集團軍總司令，而他麾下的第54軍軍長黃維則是陳誠土木系中的重要將領。黃維維人脾氣耿直，他對當時國民黨部隊中的貪污現象深惡痛絕，尤其是國民黨軍方高層竟然在士兵的糧餉方面竟然還動手腳，他對此尤為不忿。于是黃維沖動之下向當時的軍政部長何應欽處寄了一袋基層士兵摻雜了砂石的軍糧，這種打臉的行為讓何應欽勃然大怒，下令進行徹查。

作為黃維頂頭上司的關麟征因為黃維是陳誠土木系核心將領，于是也積極配合何應欽的調查，從中挖出了黃維部隊中也存在吃空餉的行為（實際上在抗日戰爭時期，國民黨部隊的軍餉開支頗為吃緊，相當多的部隊都采取吃空餉的方式來進行貼補）。在關麟征的幫助下，何應欽當即下令免除了黃維54軍軍長的職務，而關麟征其人也和土木系結怨越來越深。

羅卓英

這活我不干

1945年抗日戰爭勝利之后，關麟征一開始接到調令，讓他去東北當保安司令部長官。然而還沒等他到任調令就發生變化，改讓他去云南成為警備司令。關于這件事關麟征一直認為這背后人命變化的原因一定是陳誠在背后使壞。

關麟征在云南當了一段時間警備司令之后干脆又去了中央軍校當校長，狠抓軍事教育，從此基本上也遠離了前方戰場。

隨著解放戰爭的進行，國民黨在戰場上節節敗退，面對當時國民黨已經頹勢明顯的局面，陳誠土木系下核心將領胡璉向陳誠建議重新啟用關麟征。而陳誠此時也是負面消息纏身，他也想著顯出自己不計前嫌的高風亮節，于是向蔣介石提出建議，讓關麟征去代替湯恩伯。

對于關麟征來說，在抗日戰爭時他就是管轄六個軍的集團軍總司令，如今讓他去山東接替湯恩伯，所管轄的部隊大大減少，這無疑折損自己的面子。更何況此時的山東已經是一個爛攤子，自己去了絕對沒有好果子吃，就連湯恩伯本人都給關麟征寫信，讓他三思而后行，不要來山東。

于是當關麟征見到陳誠的時候直接對他說道：讓我去山東接替湯恩伯，這事我做不到，你另請高明吧！此話一出氣的陳誠當即回道：這事你要推辭，去找校長自己去說吧！

陳誠事后也把關麟征的態度報告給了蔣介石，蔣介石于是親自找到關麟征談話。關麟征見到蔣介石之后直接開口說道，讓他去華東也可以，但是他要求拿到華東地區的所有軍政大權，要不然他絕不同意前往就任。關麟征的條件讓蔣介石勃然大怒，而讓他接替湯恩伯的事情也不了了之了。

后來在1949年，蔣介石還曾經想讓關麟征去接替胡宗南主持西北，但是關麟征同樣提出了，如果去就要拿到西北地區所有軍政大權的要求，而蔣介石同樣不肯同意。其實對于蔣介石來說，他只說到了最后時刻也不同意關的要求，就是擔心關麟征趁機擁兵自重成為割據一方的諸侯，甚至是背叛自己投敵。后來隨著國民黨部隊的節節敗退，這位曾經在抗日戰爭期間創下輝煌戰績的將領最終遠走香港。

后來蔣介石在臺灣還曾經想要重用關麟征，然而關麟征在香港卻表示只要蔣公還重用陳誠，他絕不去做什么事情。