1971年冬季，葉帥復出，重新主持軍委日常工作，當時陳士榘是軍委辦公會議的成員之一，歸葉帥直接領導。一天，葉帥找陳士榘談話，想對他的工作做一下變動，讓他出任國防部副部長。

當時陳士榘的職務是工程兵司令，工程兵在當時是一個小兵種。調任國防部副部長，從地位上來說，是升了。按常理來說，陳士榘應該高興才對，但他卻拒絕了葉帥的好意，并說：“還是讓我繼續(xù)當這個小兵種的司令吧。我能力有限，這個職務很適合。再說了，我這個人人緣一向不佳，職務高了，眾目睽睽，倒不如偏立一角，干得更踏實。”

陳士榘說自己人緣“一向不佳”，并不完全是自嘲。戰(zhàn)爭年代，他確實和一些將領鬧過不愉快。1947年8月，為了配合中野主力進軍大別山，華野所屬的陳唐兵團暫歸劉鄧指揮。

蔣介石為了阻擋中野主力挺進大別山，調集了許多部隊進行圍堵，其中就包括了邱清泉的整編第5師。要阻擊這樣的硬敵，陳唐兵團也必須拿出自己的王牌。當時陳唐兵團下轄三個縱隊，分別是何以祥的三縱，王建安的8縱和宋時輪的10縱。

3縱和8縱都以攻堅能力擅長，整編第5師是國軍五大主力之一，老兵多，火力也猛，因此不論3縱還是8縱，如果和敵人硬拼進攻的話，肯定是要吃虧的。10縱雖然攻堅能力不及3縱和8縱，但打阻擊的能力在華野各縱中卻是數一數二的。

因此，陳士榘就把阻擊邱清泉的任務交給了宋時輪，要求他克服一切困難，把敵人拖在梁山地區(qū)。接受命令后，宋時輪就率部開始構筑阻擊陣地。8月4日，梁山阻擊戰(zhàn)正式打響。盡管兵力和武器裝備都不如對手，但在宋時輪的指揮下，10縱打得十分頑強，硬是把邱清泉給拖住了。

眼看邱清泉無法突破10縱的阻擊，蔣介石又把整編第84師給派了過來。10縱盡管打阻擊的能力在華野首屈一指，但要一己之力擋住敵人兩個整編師還是無法做到的。最終在和敵人血戰(zhàn)了五個晝夜后，宋時輪被迫放棄陣地，率部北渡黃河。

由于敵人追得太緊，部隊在過河的時候發(fā)生了搶渡現象，再加上指揮混亂和過河工具不足等原因，10縱出現了比較大的傷亡，4000余名支前民工也落入敵手。戰(zhàn)后，上級認為宋時輪在沒有命令的情況下，私自率部撤過黃河，部隊因此出現了比較大的傷亡，打算追究他的責任。

宋時輪辯解說，自己過河是奉了陳參謀長的口頭命令，因此不是私自行動。但陳參謀長卻否認了此事，說自己沒有下過命令。由于拿不出證據，最終宋時輪的說法沒有被采納。好在粟裕站出來說話，宋時輪才沒有受處分，他也因為這件事，和陳參謀長鬧了不愉快。

宿北戰(zhàn)役期間，一縱司令葉飛，也和陳參謀長鬧了不愉快。當時為了阻止胡璉增援戴之奇，葉飛率領一縱借著夜色的掩護主動出擊，打了胡璉一個措手不及。天亮后，胡璉發(fā)現一縱孤軍深入，就調動部隊把一縱給圍了起來。

葉飛向陳參謀長請示部隊如何行動，陳參謀長要求一縱突圍。部隊在白天突圍，危險很大，為了穩(wěn)妥起見，葉飛請求陳參謀長親自來指揮。陳參謀說敵人的包圍圈已經合攏了，自己進不去，堅持要葉飛率部突圍，還說如果不撤退的話，自己就不管了。

葉飛對此意見很大，多年后還無法釋懷，在自己的回憶錄中還專門提到了這件事，并說：幾萬人的部隊，你當參謀長的，怎么能說不管呢？葉飛也因為這件事，和陳參謀長鬧了一些不愉快。

洛陽戰(zhàn)役結束后，陳士榘在總結大會上的講話，也遭到了一些中野將士的不滿。這場戰(zhàn)役是中野和華野聯手發(fā)起的，中野出動的是陳謝兵團，華野出動的是陳唐兵團。既然是聯合作戰(zhàn)，就要有人來當總指揮。

陳賡的資歷要高于陳參謀長，按理說應該由他來負責洛陽戰(zhàn)役的指揮。但陳賡認為自己的重火力不及兄弟部隊，因此堅持要陳士榘來指揮。這場戰(zhàn)役打得很漂亮，不僅順利攻克了洛陽，還活捉了邱行湘。

戰(zhàn)后，劉伯承親自主持召開了總結大會，陳士榘作為戰(zhàn)役總指揮發(fā)了言。在介紹攻城經驗的時候，他過分強調了炮火的作用。當時中野剛從大別山轉出不久，重炮幾乎損失殆盡。

陳參謀長在這個時候一味強調炮火的作用，沒有考慮中野將士的感受。此時中野沒有重炮，豈不是沒有辦法攻城了，這對部隊的士氣也是不利的。劉伯承因此生了氣，在對參加會議的將領們講話的時候，強調說人才是首要因素，只要戰(zhàn)術得當，重武器不足，一樣可以攻城拔寨。戰(zhàn)后陳參謀長還因此受到了陳老總的批評，并做了檢討。

雙堆集圍殲黃維兵團的時候，陳參謀長的做法，再次引起了中野將士的不滿。當時中野的兵力和黃維兵團相當，但火力卻嚴重不如對手，因此雖然將對方包圍，但要吃掉對方卻很困難。

為了盡快解決敵人，中野向華野求助。粟裕讓陳參謀長帶領三個縱隊去幫忙。當時參戰(zhàn)的中野部隊都打紅了眼，誰也不肯讓出攻擊位置。陳參謀長見狀，生氣了，轉頭就走。

劉伯承見陳參謀長遲遲不參戰(zhàn)，就給粟裕打電話，怒問：陳士榘是要等中野都打光嗎？粟裕急忙詢問陳參謀長，才知道是中野參戰(zhàn)部隊不肯讓出攻擊位置。搞清楚原因后，劉伯承親自給陳參謀長打電話，并讓王近山讓出了攻擊位置。

在這件事情上，雙方都有一些問題。陳參謀長是來幫忙的，中野參戰(zhàn)部隊卻不愿意讓出攻擊位置，這有點說不過去。此時陳參謀長應該把情況向劉帥反映，請他協調，而不是意氣用事，轉頭就走。中野一些將士因此認為，陳參謀長太傲。

正是因為這幾件事情，陳士榘才對葉帥說自己的人緣“一向不佳”，并拒絕了葉帥的好意，不愿當國防部副部長，之后他在工程兵司令的職務上一直干到了退休。晚年的時候，陳士榘在回憶這次職務調動時，仍覺得自己當時的選擇是正確的，并說：在這個問題上，我有自知之明。1995年，陳士榘將軍病逝，享年86歲。