1954年10月31日，經毛澤東主席親自提名和中央批準，粟裕被任命為中國人民解放軍總參謀長。

在任命公布之前，毛澤東親自與粟裕進行了談話，向他傳達了中央的決定。粟裕聽了之后馬上向毛澤東表示：“主席！我不能勝任！”

毛澤東則肯定地對粟裕說：“根據我的了解，你可以勝任！”

毛澤東要粟裕大膽積極工作，并對他鼓勵說道：“不過牡丹雖好，還需綠葉扶持。你努力干吧！”

毛澤東和中央軍委在任命粟裕為總參謀長的同時，還給他配備了強大的助手班子。共給他配了10名副總參謀長，分別是：張宗遜、李克農、陳賡、王震、許世友、鄧華、彭紹輝、張愛萍、楊成武、韓先楚。

看得出，給粟裕配備的這10位副總參謀長，可不是一般的“綠葉”，而都是在全軍聲名赫赫的一代名將。

可以說，這是一個非常強大的總參領導班子，強大到難以超越和復制。日后這屆班子有兩人被評為大將，另外9人全都是上將。

不過，副總參謀長人數雖然配的可謂是不少，但粟裕身上的工作壓力并不感到輕松。主要是大部分副總參謀長還兼著其他職務，不能到任：張宗遜原來分管軍訓、軍校工作，下一步兼任訓練總監部副部長（當時軍委設8個總部，訓練總監部是其中之一）；李克農原管3個情報部門，分工不變；陳賡只能拿百分之七十力量參加總參工作，另百分之三十力量搞軍事工程學院工作；王震主要負責管鐵道兵工作；許世友管南京軍區工作；鄧華管沈陽軍區工作；彭紹輝待西北工作結束后，才能赴京，但他需兼任訓練總監部副部長；張愛萍擬調來總參工作；楊成武雖擬調總參工作，但現在還脫不開身，不能前來；韓先楚現在軍事學院學習，2年半之后才能畢業。

這樣一來，10位副總參謀長中僅李克農、張愛萍（實際上調來是1955年春）可以全部力量在總參工作，還有就是陳賡大部分時間可在總參工作。其他大多數副總參謀長只能在各自單位工作。

針對這種人手少事務多任務重的實際，粟裕全身心地投入到總參工作和建設當中，竭盡全力為毛澤東和中央軍委當好戰略參謀。

在工作重點上，粟裕除負責全面抓總外，將工作重心放在毛澤東和中央軍委高度關注的重大戰略和作戰問題上，放在國防和軍隊建設中的大事上。通過抓這些工作重點，達到以點帶面，促進各項工作和建設全面發展。

在工作方法上，粟裕和幾位副總參謀長團結一致、配合默契。粟裕從不獨斷專行，有事情找大家商量，尊重大家的意見。工作決定后，大膽放手讓別人干，從不施加干預。除工作關系外，粟裕和同事們個人感情融洽，交往和諧正常。若干年后，當時的一位副總參謀長回憶那一段時光時表示：“非常懷念和贊賞粟裕良好的領導方法和對同志的真誠友誼”。

在工作精神和作風上，粟裕殫精竭慮、任勞任怨，經常加班加點甚至帶病堅持工作。工作人員“時?？匆娝杨^部側壓在辦公桌上，以緩解因戰爭年代多次負傷和勞累過度造成的頭部劇痛”。

粟裕在4年的總參謀長的工作崗位上，正值國家由戰爭狀態向和平建設轉變、軍隊建設由低級階段向高級階段邁進的重要時期。在這個關鍵的歷史階段，粟裕在毛澤東和中央軍委的領導下，以對軍隊建設和軍事斗爭準備高度負責的精神和戰略家軍事家的雄才大略，精心謀劃、精心組織、精心落實，在抓軍隊建設、抓戰略方針制定、抓作戰指導、抓戰場建設和對敵軍事斗爭等方面，作出了歷史性的重大貢獻。