1952年7月，彭德懷以軍委副主席的身份兼任總參謀長，開始主持軍委日常工作。彭德懷上任后，提出了要向蘇軍學習的觀點，這年12月，他在全軍各大區參謀長和政治部主任聯席會議上說：

永遠不要驕傲自滿，一定要將蘇聯的一切先進經驗都學到手，改變我軍的落后狀態，建設我軍為世界上第二支最優良的現代化的軍隊，以利于在將來有把握地戰勝帝國主義軍隊的侵略。

彭德懷

在彭德懷的推動下，中蘇經過協商，決定在我軍的總參謀部設總軍事顧問，在各軍種、兵種、大軍區分別設首席軍事顧問，這些軍事顧問均由蘇聯派出，他們的任期一般為一至兩年，個別短則幾個月，長則四五年。

雖然蘇聯軍事顧問的話語權很大，但在“怎樣學”的問題上，彭德懷并不盲目地聽取他們的意見，德國人李德在中央蘇區瞎指揮造成的惡果，他始終記憶猶新。彭德懷經常叮囑身邊的同志，在運用蘇軍經驗解決我軍實際問題時，不要機械搬運，特別不允許“上綱上線”。

1952年10月15日，彭德懷第一次主持軍委例會，他把部隊訓練時間的分配確定為：軍事訓練占60%，政治教育占20%，文化教育占20％。事后有蘇聯顧問提意見，說文化教育時間占的太多，沒有必要，彭德懷耐心地解釋說：

舊中國文化教育落后，文盲多，戰士入伍以后才能學文化，學了文化才能掌握軍事技術，將來復員回家，也便于參加社會主義建設。蘇聯和一些發達的國家，征來的新兵不僅多數人有文化，有的還會開汽車、拖拉機。中國現在則相反，是軍隊把戰士培訓成司機或坦克手，然后復員到地方上才能開汽車和拖拉機。這是中國的實際。

毛澤東和彭德懷

最終蘇聯顧問被說服了，全軍各部隊嚴格按照彭德懷的意見落實訓練時間，文化教育的占用時間都達到了20%。

1953年初，彭德懷主持軍委例會討論國防工程建筑問題，有業務部門依據蘇聯顧問的意見，稱為了國防保密，要求把內伶仃島上的居民全部遷走。彭德懷一聽就火了，當即批評說：“遷移居民一定要慎重，要積極動員。島上的居民，有證明的留下，重大嫌疑的遷走，但這是極少數。內伶仃的居民全部遷走，要不得，這是單純軍事觀點！”

不過在聽取蘇聯顧問意見時，彭德懷也出現過失誤。1953年上半年，蘇聯顧問反復向彭德懷建議，解放軍可以學習蘇軍實行“一長制”，即部隊取消政治委員，實行單一首長制。彭德懷覺得這一提議可行，他便在一次軍委例會上提出：軍隊團以上的政治部可以不設政治部主任一職，其職務由該級政治委員兼任，以便抽出一批政治工作干部培養為軍事指揮員。

彭德懷投票

1953年5月，彭德懷更是在同蘇聯顧問的一次談話時說：“準備10年之后實行‘一長制’。”這年5月頒布的《內務條令》，已將政治教導員和政治指導員排除在營、連首長之外。

彭德懷的話傳達到部隊后，引發了許多問題：一些單位出現了軍事訓練和軍事演習計劃不要黨委過問，下達命令不要政治委員署名，軍事演習沒有政治工作人員位置等情況；有的以為實行正規化就可以削弱或取消政治工作，把軍隊正規化與必要的民主對立起來，把嚴格教育、嚴格管理與說服教育對立起來，把部隊進駐營房、開展正規訓練與擁政愛民、積極參加地方群眾工作對立起來……

這些問題很快引起了總政治部主任羅榮桓的注意，他專門向彭德懷提出了自己的看法：“現在有些同志認為政治工作制度過時了，政治委員作用不大了，要學習蘇聯，搞‘一長制’。如果那樣做，從井岡山時期就搞起來的政治工作傳統不就丟掉了嗎？”

羅榮桓

彭德懷認為羅榮桓的話很有道理，他改變了原來準備實行“一長制”的主張，在以后的幾年里，他對“一長制”的思想作過不止一次的批判。