1969年，珍寶島反擊戰后，上級讓在京的老干部疏散到全國各地。作為原軍科院副秘書長王智濤一家被要求到山西榆次，并且將組織關系、行政關系、供給關系轉到榆次軍分區干休所。

王智濤在1952年被評為行政7級，1965年全軍取消軍銜后，套地方行政等級為7級。按照他的待遇，應該安排到省軍區干休所，軍分區干休所是師團級干部休養的地方。

之所以被降低安排，是在特殊時期被扣上帽子，而且遲遲不給做結論。被疏散的老干部實際上都是靠邊站，或者不能工作的老將，在職都在位置上。

王智濤離京之前，一直希望軍科院給個明確的結論，但只對他說是人民內部矛盾。盡管心里不愿意走，但也實在留不下，就到榆次安家。在榆次生活一年多，隨著形勢的變化，1971年以看病為由入京，看了老戰友們，也了解了一下情況。葉帥從湖南回來，向他請教，對方說需要形勢發生根本變化，才能水到渠成。

他想辦法留下來，方便打聽情況，第一時間解決問題。如果回榆次，真發生根本性變化，恐怕到地方上也要很長時間。組織他找人借一套房子，將家人接到北京居住。可三居室的房子根本不夠一大家子人居住，看到過去自己的老房子還貼著封條，就揭掉撬門住進去了。

俗話說，事情沒有不透風的墻，這么大動靜也很快引起相關單位的注意。房子已經封存，雖然過去是他所住，也是組織上分配的，是公家財產非私產。對方將情況反饋到軍科院，得知王智濤偷偷跑回來，就約他集體談話。

軍科院重要領導粟裕、宋時輪剛擔任第一政委，院長，參加談話的還有其他干部。宋時輪讓他先談，他把自己這幾年來的一肚子委屈說出，自己的問題早有結論，怎么不公布？當年戰備讓大家疏散，都顧全大局走了，幾年過去，戰爭也沒有打起來，難道不應該回來嗎？如今自行遷回舊居，有何錯之有？

有人表示他說的都是強詞奪理，粟裕和宋時輪對王智濤的問題清楚，是想睜一只眼閉一只眼。聽完他的自述后，表示不能在讓他去榆次了，然后離開會議室，大家跟著散會。院長宋時輪還是非常佩服王智濤：老兄，舌戰群儒。這件事也就不了了之，也因此留下。

盡管留下來，可一直沒有給安排工作，待遇雖然恢復。本來在1975年準備調他軍政大學，后改變情況。直到1978年才安排，擔任軍科院顧問，按照大軍區副職待遇。