1951年9月，粟裕在蘇聯治病9個月后基本痊愈，回國后在京稍事休息。

一天，周恩來總理和朱德總司令一塊前來看望粟裕。兩位老首長的到來，讓粟裕分外感動。

粟裕最早被周恩來認識，始于南昌起義。粟裕當時是起義前敵委員會警衛班長，起義期間給周恩來站過崗。而最早被朱德認識，應該說是上井崗山時。粟裕正是跟隨毛澤東和朱德學習的打仗。某種程度上說，粟裕帶兵打仗的本領啟蒙于朱德。

這次兩位老首長一塊來看他，粟裕當然很是激動很是高興。而自從粟裕去蘇聯治病后，周恩來和朱德一直也都關心著他的病情。在問過粟裕在蘇聯治病情況后，周恩來對粟裕說：“中央決定，調你到總參謀部工作，中央讓我們倆來同你談談，向你傳達中央的這個命令，希望你能盡快到職。”（《粟裕傳》第一版，第864頁）

聽到這個命令，粟裕感到非常意外。

粟裕的意外主要在于，他認為國家已開始由戰爭時期向和平建設時期轉變。與之相適應，軍隊的戰略任務勢必隨之而進行歷史性的轉變。在這樣一個轉折時期，粟裕也想到過自己下一步的工作之事。盡管在紅軍時期，特別是北上抗日先遣隊時期，粟裕也有過當參謀長的經歷，對司令部工作他很熟悉，但就他本人來講，他更希望能夠有一個機會，系統地總結梳理一下過去戰爭的經驗，并探索、研究、思考未來戰爭有關問題。這就需要有一個適當的工作環境，而這個環境，粟裕的想法最好是部隊或學校。所以，粟裕怎么也沒有想到過中央讓他到總參謀部工作。

于是，當著兩位老首長的面，粟裕非常懇切地推辭說：“我水平很有限，總部的工作恐難勝任，是否考慮別的同志為好？我到下面抓抓部隊工作或搞學校工作都可以”。

周恩來、朱德對粟裕說：“你來總部工作是毛主席點的將，我們認為你來工作是合適的，你還是服從決定吧！”（《粟裕傳》第864頁）

粟裕見任命他到總參工作，是毛主席親自點的將，并經過中央慎重考慮，于是也不好推辭了，他向兩位老首長表示：“既然組織決定了，我服從組織決定就是了”。

11月12日，中央軍委正式任命粟裕為中央人民政府人民革命軍事委員會第二副總參謀長（聶榮臻為第一副總參謀長，代總參謀長），仍兼華東軍區副司令員的職務。

沒多久，中央辦公廳主任楊尚昆打電話給粟裕，傳達毛主席指示，希望粟裕盡快到京上任。

于是，粟裕略事準備，交接有關工作后，即于12月9日離開南京，11日到達北京，12日即向中央軍委報到，正式就任副總參謀長。從此，粟裕開始了他7年總參謀部工作生涯。