新中國成立后，海軍司令部組建起來，肖勁光擔任司令，劉道生為副政委兼政治部主任。此后，上級又任命王宏坤為海軍副司令，羅舜初為參謀長。

這是1950年，海軍領導班子初建的情況，班子成員少而精。在此后的幾年里，1952年周希漢調任參謀長，羅舜初改為第二副司令；1953年，方強調任第三副司令，蘇振華為海軍副政委兼政治部主任（劉道生到蘇聯學習）。

他們幾位，除了羅舜初中途調離海軍之外，肖勁光、王宏坤、蘇振華、方強、周希漢都到離休才離開海軍領導崗位。

羅舜初的離開，也是一種“被迫”。

他從參謀長升為第二副司令，抓海軍裝備建設問題。與蘇聯方面談援助，同時也搞仿制，自主研發等。他在海軍的八九年里，對海軍的裝備做出的貢獻是巨大的。很多人并不清楚，他離開海軍的原因。

在一位李姓海軍將領回憶中，說對方是被排擠的。實際上是什么情況呢？

1959年，廬山會議后，部隊在京召開會議，他在外地視察工作被通知回京開會，這才知道發生了什么事。在海軍的會議上定下基調，他在會議上沒有表態，更不揭發，談了一般性問題，并認為鄧、洪沒有問題，有人認為他的思想認識有問題，甚至對他進行揭批，被他一一駁回。最終扣了帽子，將他的情況寫成報告上報。

1960年，上級對海軍的上報的報告批復：根據情況應從嚴處理從寬的方針，可以不給予處罰，調離海軍，另行分配工作或送學校學習。此后離開海軍，進入解放軍政治學院學習。

在校學習2年畢業，面臨重新分配工作。有人認為鑒于他過去的表現，不適合到中原部門擔任領導職務，羅帥對此表示：羅舜初對海軍發展是有過貢獻的，不應該不給機會。此后，沒有被調回海軍，而是去國防部第十研究院擔任院長。

國防部第十研究院是負責國防尖端科技，主要負責無線電通信工作，屬于國防工業。實際上與羅舜初此前的工作差距不大。過去羅舜初負責海軍裝備建設、研發、仿制等。

該單位剛成立不久，任命羅舜初擔任院長時，十院被定位正兵團級單位。

在當時，三總部、十三大軍區、軍兵種、以及軍事科學院、高等軍事學院、南京軍事學院都是大軍區正職單位，海軍麾下三大艦隊都是正兵團級單位，空軍下轄大軍區空軍司令部也都是兵團級單位，以及一些軍種院校。國防部下轄的二級單位也有很多是兵團級單位。

從職務來說，羅舜初過去擔任大軍區副職，如今改為正兵團職。從職務來說，大軍區副職高，可從待遇來說，兩者相差不大。

從職權來說，大軍區副職負責一個單位的一些分工，只是負責局部工作，凡是需要上報；作為正兵團主官，要負責單位的全面工作，可以拍板決定。就像打仗時期，副軍長與師長的關系。

他在擔任幾年正兵團職后，被調任國防科委副主任，從基本來說恢復大軍區副職，一直干國防工業。當特殊時期到來后，中斷過一段時間，1975年被重新使用調任沈陽軍區副司令，后改為顧問。

在擔任沈陽軍區顧問組組長期間，他依然很有責任心，堅持工作，針對軍區出現的問題能夠提出并解決，即便是在身體情況不好的情況下堅持工作。得到了軍委以及軍區首長的贊揚，軍報還發表關于他的事跡，作為軍區政委的廖漢生積極號召大家向羅舜初學習。