1964年，文化部領導班子調整，原部長茅盾不再擔任。誰來擔任部長，上級只好先讓中宣部部長陸定一兼任，并打算從軍隊調幾個人來。

文化部雖然管理文藝工作，文人擔任看似“對口”，實際上在工作中遇到的問題很多，如方針、政策等，把握不好就會出現問題。上級曾經對他說：文化部工作這些年來一直沒搞好，責任不在你，知道你一開始就不愿當這個部長，提到過辭職，因為沒有合適的人接替，如今讓你卸下這副擔子。

誰來擔任新部長，只能由陸定一兼任。此時的陸定一不僅僅中宣部部長，這一年被選為書記處書記，副總理。如今再兼任部長，身兼數職。

此時，上級打從部隊選幾位干部到文化部工作。從部隊挑選干部到文化部有一個背景。

1964年，上級提出“全國學習解放軍”，國家部委機關設立政治部，不少軍隊干部轉入地方，加強地方政治工作領導。

在這樣的號召下，陸定一推薦南京軍區政委蕭望東到文化部工作。

說到南京軍區，1963年政委設置7位，分別是柯慶施、唐亮、江渭清、蕭望東、江華、李葆華、杜平。其中，柯慶施、江渭清、江華、李葆華是掛職，他們都是各省市一把手。專職軍隊工作只有三人。唐亮此時的身體不好，已經不能主持日常工作，1964年離休。在離休前，很多工作由蕭望東處理，杜平兼任政治部主任，職責在政治部。

在陸定一的建議下，蕭望東調去文化部擔任副部長，軍區正職工作交給杜平負責。

蕭望東在戰爭年代長期從事具體政治實現工作，長期擔任政治部主任，對如何加強和執行是很有經驗的。上級也說到，完全由當兵的人來管文化工作怕也不行，從其他地方調人過來，讓加強文化部多元化領導。

1965年，蕭望東離開部隊，到文化部任職；又調武漢軍區政治部主任顏金生擔任文化部副部長兼政治部主任；也從上海調來石西民擔任副部長。石西民是文化人出身，擔任過上海宣傳部部長、市委書記，長期負責文化領域工作，這一方面有經驗。

因為陸定一兼職很多，工作很忙，負責抓教育、文化、衛生等。文化部的很多工作由蕭望東具體負責，1966年，蕭望東代理部長。也在這一年受到沖擊而中斷工作。

1975年，蕭望東才恢復工作，重返部隊擔任濟南軍區政委，到1982年退居二線。

對于蕭望東中途受到沖擊，陸定一晚年再見他時也表達歉意，如果沒有他的推薦，蕭望東也不會來文化部，導致多年沒有工作。