“四人幫”的主犯之中，姚文元有寫日記的習慣，在他的日記中記錄許多鮮為人知的事。1976年，在毛主席去世之后，“四人幫”之一的姚文元就似乎預料到了自己的下場，他在日記中記錄了自己復雜的心情。

據姚文元在日記中的記錄，他想過和江青等人劃清界限，但是在經過反復權衡之后，他還是決定和江青等人站在一起，一是江青身份特殊，二是張春橋提拔了他，出了問題也有張春橋替他頂著。

盡管姚文元做了決定，也為此做了許多事，可是他的心中仍感覺不踏實。據姚文元在日記中寫道，有一天他在飯間突然對女兒說了一番奇怪的話，表達了自己可能隨時會死的意思和情感。

1976年10月6日下午3點，姚文元收到緊急通知，當天晚上八點在懷仁堂二樓參加會議，盡管姚文元當時心中有疑慮，但面對來接他參加會議的汽車時，他還是上車了。當天晚上，根據中央決定對姚文元進行隔離審查。

1977年7月，根據大會決定，永遠開除姚文元的黨籍，撤銷其黨內外一切職務。1981年1月25日，姚文元被判處有期徒刑20年，剝奪政治權利5年。姚文元受到了應有的懲處，他在獄中積極改造。

1996年10月，65歲的姚文元刑滿釋放了。此時他的家庭已經發生了翻天覆地的變化，他原本有一個妻子和3個女兒，其中次女有先天性的病，不過在姚文元的照顧下，一家人的日子仍過得很好。

然而在姚文元入獄之后，他的妻子金英就帶著3個女兒搬離了大院，住到了上海盧灣區的普通居民樓里。姚文元在獄中期間，他的大女兒出嫁了，妻子金英就帶著兩個女兒生活，工作單位也調整了，不過金英請了長期病假。

姚文元和妻子金英的感情很好，遺憾的是在他出獄前一個月，金英病逝了。出獄后的姚文元被安置在湖州生活，不過他先申請去了上海，為妻子金英操辦后事，隨后他才到了湖州生活。

到了湖州之后姚文元過著深居簡出的生活，他把主要精力放在了寫回憶錄上，經過一段日子的堅持寫作，姚文元寫出了42萬字的回憶錄。在眾多出版社得知消息后，有出版社表示可以出五百萬元購買他的回憶錄版權。

姚文元晚年向組織提出了兩個請求，一是請求能恢復自己的黨籍，二是請求能夠出版自己的回憶錄。很顯然他的第一個請求屬于癡心妄想，作為“四人幫”之一的主犯，他被開除了黨籍，自然不可能恢復。

至于姚文元提出的第二個請求，組織上在2001年給他了答復，不過需要先對回憶錄進行審核。姚文元隨即把回憶錄交給了相關部門審核，可是遲遲沒有下文，不過組織上提高了對他的待遇，每月有4000左右的養老費用。

此外組織上考慮到姚文元的生活需要人照顧，專門給他配了一名警衛兼護工。雖然姚文元的兩個請求沒有得到落實，但是他的晚年生活得到了妥善照顧。2005年12月23日，姚文元病逝，終年74歲。