彭老總從廬山下來之后，他就搬去了吳家花園居住，這一年（1959年），他也被免去了職務。在吳家花園住的這五年多的時間，也是他難得的清閑的一段時光。

吳家花園，相傳是當年吳三桂給陳圓圓特意修建的宅子，但是，據我所查的話，這種說法其實不太準確。

比較準確的一種說法是，這吳家花園在之前是叫自得園，是清朝雍正年間修建的一處皇家宅子。

這園子修建起來以后，雍正就把他賞賜給了允禮。這允禮是雍正皇帝的第17個弟弟，也就是甄嬛傳里面的果郡王。清朝滅亡以后，到了民國年間，在吳家花園里面住的都是有社會地位的人，比如袁克定，冰心等等。

彭老總是1959年住進吳家花園的，他是1965年離開吳家花園的。

在吳家花園居住的這段時間里面，他的警衛景希珍一直陪伴在身邊。景希珍晚年的時候也寫了兩本回憶錄，里面有一些內容就記載了，他在吳家花園陪伴彭老總的日子。

老總在宅子里開墾出了一小片土地，在里面種了些花花草草，還有一些花果蔬菜，每天他都會扛著自己的鋤頭去勞作。

在吳家花園待了第二個年頭，彭老總的侄女彭鋼也住了進來。

這個侄女12歲的時候來到北京，就一直生活在伯父的身邊，兩人的感情很好，雖然不是親生父女，但是感情勝似親生父女。當時的彭鋼只是一個24歲的女孩子，有很多事情她也不了解，她只知道自己陪在伯父的身邊，能讓伯父的心里得到些許的寬慰。

有了侄女的陪伴，彭老總在吳家花園的日子也沒有那么的枯燥了，這里面的氣氛也變得多了一些年輕人的生氣。

1962年，是彭鋼來到吳家花園的一年。這一年，彭老總64歲，彭鋼24歲。

時間很快來到1965年，67歲的彭老總離開了吳家花園，去到了成都，開始了自己的新工作。

彭鋼萬萬沒想到，兩人的這一次分別，再次見面的時候，伯父已經躺在病床之上，處于彌留之際，而那卻是八年以后了。

1978年12月24號，老總的追悼會在北京召開。

1999年，彭老總的骨灰在后輩們的一路護送之下，回到了老家，安葬在了彭家圍子。