1975年1月，毛主席提名鄧小平擔任黨中央和中央軍委副主席、國務院第一副總理、總參謀長等職。

任職之后，鄧小平決定按照毛主席的要求，開始對部隊進行整頓。多年的任職經歷，讓鄧小平清楚地認識到，要想治軍，必先選將。

2月，在毛主席的批準下，廖漢生被任命為南京軍區政委。

不久后，鄧小平找廖漢生談了話，當面對他說：“你過去是有角的，有硬角，你到了那里要保持這個角！”

聽了鄧小平的話，廖漢生點了點頭。然而，工作究竟要如何開展，應該注意些什么，廖漢生卻沒有得到明確的指示。

想到廖漢生這次到南京軍區任職很可能會遇到許多不好解決的麻煩，葉劍英元帥特意在廖漢生前往南京軍區任職前，叮囑道：“毛主席已經多次批評了‘四人幫’，你們沒事不要往上海跑。”

南京軍區成立于1955年4月。當時，根據國務院和中央軍委關于全國軍區重新劃分的決定，原華東軍區改組為南京軍區，許世友擔任了首任司令員。

南京軍區的總部設在江蘇省南京市，其轄區包括浙江、江西、江蘇、安徽、福建和上海五省市，其戰略地位非常重要。

對此，廖漢生也是知道的。畢竟，廖漢生曾經擔任過國防部副部長。那時候，廖漢生年僅43歲，是最年輕的國防部副部長。

任職期間，廖漢生協助國防部部長彭德懷，做了許多重要的工作，得到了彭德懷的肯定。

事實上，廖漢生與彭德懷并不陌生。在轉戰陜北期間，廖漢生以西北野戰軍第一縱隊政委的身份，參加了青化砭、羊馬河、蟠龍和隴東、三邊、榆林、沙家店、清澗等戰役。

在沙家店戰役中，廖漢生和張宗遜司令員指揮部隊，占領了沙家店以南及以西一線高地，后又與第二縱隊配合，殲滅了國民黨軍整編第36師，受到了毛主席和西北野戰軍司令員彭德懷的表揚。

當時，毛主席高興地說：“沙家店這一仗確實打得好，對西北戰局有決定意義，最困難時期已經過去了。”

1975年，廖漢生按照小平同志和葉帥的囑托，以清醒的頭腦前往南京軍區擔任政委。

當時，在南京軍區領導班子中，司令員是丁盛兼軍區第三書記，張春橋兼任軍區第一政委、黨委第一書記，彭沖兼任第二政委、黨委第二書記。廖漢生的黨委排名在丁盛之后。軍區全面工作由丁盛負責，廖漢生抓政治工作。

其中，張春橋便是“四人幫”的重要成員。在這樣的領導班子中任職，廖漢生必須加上一萬個小心，才不至于麻煩纏身，將自己壓垮。

那時候，在歡迎他南京軍區工作的歡迎儀式上，廖漢生在講話中明確說：“聽說過去有這家山頭，那家山頭，過去的不管，從現在開始，誰的工作做不好就批評，做好就表揚，我自己絕不搞山頭。”

聽了廖漢生的講話，下面的人表現明顯不一樣，有人拍手叫好，有人半信半疑，有人嫌他鋒芒畢露……

然而，大部分的人還是擁護他的。這也讓廖漢生今后開展工作，奠定了基礎。不然，如果大部分的人都不擁護他，他是很難在這里站穩腳跟的。

在后來的工作中，廖漢生在這個是非之地，積極貫徹中央軍委關于“軍隊要整頓”的方針，下部隊，跑海防，將自己的全部精力放在了部隊的建設上。

那時候，上海雖然繁華，是許多人的夢想之地，更是南京軍區的管轄范圍。然而，廖漢生卻謹記著葉劍英元帥的囑咐，在沒事的時候，從來不去上海，以免惹上不必要的麻煩，給主持整頓工作的鄧小平和葉劍英元帥造成困擾。

事實證明，葉劍英元帥的擔心不是多余的，廖漢生也是因為嚴格遵守葉劍英元帥的囑托，才沒有在工作中犯下大錯，造成不可收拾的局面。

1977年9月，由于工作出色，廖漢生被任命為南京軍區第一政委。

后來，廖漢生又擔任過沈陽軍區第一政委，全國人大常委會副委員長兼任全國人大外事委員會主任委員等重要職務，成為了副國級的國家領導人。