1980年1月，十一屆五中全會上，吳德辭去了副國級職務，開始了自己的退休生活。

他住在東交民巷17號院3號樓，享受正部級干部的待遇。1966年被調任北京市委第二書記前，他是吉林省委第一書記，也就是正部級。

1982年，吳德和汪東興等人一起當選中顧委委員，這也是正部級的職務。

吳德的女兒吳鐵梅說，父親退休后，生活待遇和從前沒有什么變化，工資關系仍在國務院，家里的后勤主要是國務院機關事務管理局服務司負責。

在勞累了半生之后，吳德終于有了一段安靜祥和的、屬于自己的時間。退休后最開始的幾年，他主要待在家里，每天看書寫字，養花散步。

吳德的書法不錯，能寫一手漂亮的瘦金體，他每天用瘦金體抄寫毛主席的詩詞，用以陶冶情操，修身養性。有時候晚上失眠了，他就到院子里散散步，照顧一下自己種的花。

當時組織給吳德配了一輛小汽車，但因為吳德閉門不出，他的車都不跑字，很久很久才加一次油。

東交民巷17號院當時還住著幾位同樣退休的老干部，但吳德和他們也沒有什么來往。他在吉林、北京工作多年，有很多同事和部下，他也不讓他們來看他。吳家的常客，是紀登奎、紀坡民這對父子，如果和他們聊天的話，吳德每次都能聊很長時間，他們聊的主要是社會話題。

吳德每天都看《新聞聯播》，每次看到上面播報貪污的情況，他就生氣地要求把電視關掉。有一次，紀坡民和吳德聊天，說最近誰誰誰被抓了，吳德聽后很生氣，專門跑去參加了中紀委的會議，討論應該如何加強紀律教育，維護黨紀國法。這是吳德少有的外出。

長時間閉門不出對人的身體和精神都是有影響的，有一次，一位中央的領導來看望吳德，勸他可以去國內各地旅旅游，看看祖國的大好河山，看看我們改革開放的成果。吳德聽從了這個建議，之后他去過西安、海南、廣州這些地方，感觸很多，思考也很多。

1992年，吳德被檢查出血液病，病情很重，不容樂觀，需要特殊的治療。吳德的女兒吳鐵梅就給中央寫了一份申請，希望可以恢復父親副國級的待遇。她通過父親的一個朋友把申請遞了上去，中央很快批示同意。

經過一番治療，吳德的病情有所好轉。1993年，他被安排到北戴河療養。在此期間，或許是感覺自己狀況不佳，時日無多，吳德找來了當代歷史研究所的朱元石、劉志男同志，請他們協助自己寫一本口述回憶錄，這本回憶錄就是《吳德口述風雨紀事：我在北京工作的一些經歷》。這是一本有較高歷史價值的回憶錄，為人們了解那段歷史提供了不少珍貴的史料。

在寫這本回憶錄的過程中，朱元石和吳德朝夕相處，朱元石說：“他說話平穩，用詞講究，有長者風度……習慣性動作是，不時用蒼白的手去撫摸頭頂，清癯的臉上兩眼炯炯有神……”

1995年11月29日，吳德病逝于北京，享年82歲。他在東北的老同事宋任窮聽到噩耗悲傷不已，說：“我和吳德同志在東北共事多年，他為民服務，成績卓著，入黨六十多年，光明磊落……”

據吳鐵梅說，父親去世后，治喪委員會的同志告訴她，吳德同志可以享受“比國家級領導人低半級，比部級領導人高半級”的葬禮規格。

吳德有2個女兒，沒有兒子。他的大女兒吳鐵梅在文物局工作，后來退休；二女兒是一名醫生。吳德去世幾年后，他的口述回憶錄終于出版，吳鐵梅沒有向出版社收取回憶錄的稿費，而是要了幾千本書放在家里。吳鐵梅說：“誰來問我爸爸的事，我就給他看這本書。”

吳德的一生，是革命的一生。1913年他出生于直隸，19歲參加革命，20歲入黨，曾參與領導著名的冀東暴動，這次暴動有20萬人參加，轟動全國，成為冀東地區頗有名氣的青年革命家。1940年，他前往延安向毛主席匯報冀東的工作，獲得毛主席的高度贊揚。

抗戰勝利后，他擔任冀東區黨委書記、冀東軍區政委兼唐山市委書記，為遼沈、平津戰役都做出過貢獻。新中國成立后，他屢受重用，曾擔任平原省（已撤銷）省委書記、天津市長等職務，并在1955年擔任吉林省委第一書記兼吉林省軍區第一政委，直到1966年調到北京任職。

毛主席曾評價吳德：吳德是個老實人，吳德有德。