十年特殊時期，“四人幫”的勢力日漸壯大，犯下了不少禍國殃民的滔天罪行。毛主席去世之后，中央忙著治喪期間，他們的行動更加猖獗，尤其是王洪文，竟然生了篡權奪位的野心，并采取了一系列行動。

為了奪權，王洪文通知“王辦”的臨時工米士奇以“中辦”的名義向各級省市下達了指示稱：特殊時期，如果有事，必須立即向自己請示。發現王洪文的篡權野心后，華國鋒主席立即與葉劍英、汪東興等人商討，最終決定：一舉粉碎“四人幫”。

由于當時“四人幫”的勢力還很強，想要一次性粉碎他們，有一定的難度。為此，中央領導人決定以召開會議為由，將他們騙到懷仁堂，然后讓特別行動小組的成員伺機實施抓捕。一切準備就緒后，汪東興向王洪文、張春橋下達了到懷仁堂參加常委會議的指示，對不是常委的姚文元下達了一份列席參加的通知。

收到這個通知后，姚文元有些疑惑不解。汪東興明確說明此次會議的內容是商討毛主席選集第五卷的出版與毛主席紀念堂的選址問題，按照正常來說，這種會議的召開地點，一般會選在紫光閣，而不是懷仁堂；另外，姚文元不是常委，根本沒有參加這種會議的必要。

思來想去之后，姚文元還是覺得這場會議不簡單，很有可能是中央精心安排的一場“鴻門宴”，如若赴會，可能會有危險。為此，他特地找到張春橋，將自己的全部疑慮說了出來，可沒想到張春橋卻不當回事，笑著說道：“你想多了吧！這跟常委不常委的有什么關系？十年前你連中央委員都不是，就是個普通工人，事情總是往前發展的！”

聽到這話，姚文元若有所思，他在想：“難不成這次開會是要提拔我當常委的？”畢竟當常委可是姚文元現下最大的愿望，從張春橋那里離開之后，姚文元再也沒有多想，準備按時參會。

和王洪文、張春橋不同，姚文元的住處在離北京衛戍區不遠的按院胡同內，針對抓捕他，中央制定了兩套方案，如果他不參會，就讓衛戍區的同志在胡同里抓捕；如果參會，就由特別行動小組的人實施抓捕。

晚上七點四十分左右，姚文元精神抖擻的從按院胡同出發，大概四十分鐘之后，抵達懷仁堂。這時候，王洪文與張春橋已經相繼被控制，剩下一個姚文元，也翻不起太大的風浪，抓捕他的計劃也變得容易推進了許多。

大局基本穩定之后，華國鋒與葉劍英便離開了現場，將抓捕姚文元的任務全權交給了中央警衛團的武健華。待姚文元現身后，武健華很快就完成了對他的控制，并將其帶到東休息室內，嚴肅宣布了中央做出的隔離審查決定。

出乎大家意料的是，此前抓捕王洪文和張春橋時，他們都有很激烈的反應，但抓捕姚文元時，他卻沒有任何掙扎，反而一直很平靜，就像已經事先料到了自己的結局一樣，只是很平靜地說了兩個字：“走吧！”

就這樣，姚文元被行動小組的警衛員押往地下工程待了一段時間，而后又被關進了秦城監獄。在獄中的那些日子，姚文元也很平靜，除了認真寫檢查反思之外，他每天都會讀書看報，看著就像是與“四人幫”徹底劃清了界限一樣。

1981年，姚文元被判處有期徒刑20年，是“四人幫”主要成員中獲刑最輕的一位。1996年刑滿之后，組織將他安排在湖州，除了他的家人和女兒每年可以探望一次之外，組織還給他安排了一個護工，另外每個月發放4000元生活費。

根據組織的要求，姚文元的家人要對他出獄后的住址，進行絕對的保密。出獄之后，姚文元幾乎過著與世隔絕的日子，每天都在孤獨和反省中生活，直到2005年12月因病去世，至此，“四人幫”主要成員全部離世。