1971年1月，經周恩來提名，耿飚出任中共中央對外聯絡部部長。

耿飚

耿飚上任前，周恩來找他談話，說了中央作出這個任命的經過，原來在“九大”前，主管中聯部工作的康生就向周恩來提出，希望從外交部已“解放”的副外長級干部中，選一位到中聯部任部長，此人最好是中央委員，并和外國共產黨有過交往。周恩來經過考慮，認為耿飚最符合這些條件，便向中央推薦了他。

周恩來還對耿飚說：“在中央常委中，由康生分工領導中聯部，所以你遇事當然要向他請示，此其一；其二，你在和康生接觸時，也可以做他的工作，爭取他和‘四人幫’逐漸疏遠起來，同時還可通過康生來防止他們插手中聯部的工作。”

耿飚剛到中聯部上任，就發現了一個問題：部里上報中央文件的抄送名單中，有兩位不屬于應該抄送者之列，其中一位正是康生的妻子曹軼歐。耿飚便問相關工作人員：“為什么要給曹軼歐抄送呢？”

工作人員回答說：“她是中央委員。”

曹軼歐

耿飚又問：“中央委員有100多人，為什么只給她送？她與中聯部有沒有工作關系？”

工作人員回答：“她本人和我部沒有工作關系，但她是康生同志的愛人……”

雖然康生是耿飚的上司，但秉性耿直的耿飚并沒有放棄對原則的堅持，他說：“如果曹軼歐本人的職務與文件內容無關，光憑夫人的頭銜，并不需要閱讀這些文件。曹軼歐如果以康生辦公室主任或秘書的身份，可以閱讀，但她應該閱讀報送給康生的文件，為什么還要給她另發一份呢？”

最終耿飚提筆劃掉了曹軼歐的名字，周恩來得知此事后，稱贊他說：“你這樣做，既堅持原則，又符合保密規定，做得對！”

不過此舉自然引起了曹軼歐的不快，不久以后，她托人來找耿飚，企圖推薦一個中央黨校的造反派頭頭到中聯部任副部長。耿飚心想，曹軼歐在中央黨校呼風喚雨，把好端端的一個黨校鬧得天翻地覆，如果她推薦的人來中聯部當副部長，中聯部豈不要遭殃？因此他堅決拒絕了曹軼歐的要求。

耿飚

耿飚雖然多次得罪了曹軼歐，但她也奈何耿飚不得，因為如果她要整耿飚，必須通過康生，但此時康生已經和“四人幫”產生了矛盾，而且重病纏身，所以無力顧及這些事了。

對于“四人幫”，耿飚也是堅決劃清界限。有一次政治局開擴大會議，耿飚、姬鵬飛、黃鎮奉命參加，江青在開完會后把他們3人留了下來，并鄭重其事地說：“以前我和你們聯系不多，今后希望你們經常到我那里走動走動，經常通通氣。”

江青是想通過主動示好，把這3位資深的外交家拉到自己一邊，并通過他們來達到長期以來夢寐以求的目的——插手并控制中央的外事部門。但江青的如意算盤落空了，耿飚等人誰也沒到她那里去過。尤其令江青惱怒的是，耿飚每次到釣魚臺匯報工作，都要經過她住的那幢樓，但耿飚一次也沒有去拜訪過她。

江青

在不久后中央的一次春節團拜會上，江青和參加的中央領導一一握手，但當她來到耿飚面前時，不僅沒有握手，還狠狠地瞪了耿飚一眼，然后扭頭就走。李先念看到這一幕后，問耿飚：“我發現江青不和你握手，這是為什么？”

耿飚便將事情的前因后果說了一遍，李先念聽后感嘆道：“哦，你這個人的膽子不小，不過你要當心啊！”耿飚卻滿不在乎地笑了笑。

作為中聯部部長，耿飚曾陪同姚文元出訪，他經常對姚文元不合外交禮儀的行為提出批評。有一次，姚文元帶領一個代表團訪問阿爾巴尼亞，吳桂賢是代表團副團長，耿飚是團員。在一次晚宴后，姚文元乘車先回住處，過了一會兒，吳桂賢也從宴會廳出來，她到存衣處取大衣，可保管人員怎么也找不到她的大衣了。最后阿方的接待人員連連向吳桂賢表示歉意，吳桂賢只得怏怏而回。

第二天，代表團外出參觀時，吳桂賢突然發現姚文元身上的大衣正是自己丟失的那件，不由得叫出聲來。原來前一天的晚宴結束后，姚文元錯穿了吳桂賢的大衣，他一直沒有發覺，因而鬧出了外交活動中的大笑話。耿飚便在代表團后面的碰頭會上指出要注意禮儀，別出洋相，實際上是批評了姚文元。

耿飚進行出訪

由于耿飚多次不“合作”，“四人幫”便在1974年1月指使中聯部的造反派貼他的大字報，向他施加政治壓力。耿飚得知這些情況后，十分氣憤，他向周恩來報告說：“在目前這種情況下, 我沒法工作, 可不可以辭職不干？”

周恩來卻說：“不行！耿飚同志，我送你三句話。第一，人家要打倒你，不論怎么打，你自己不要倒；第二，人家趕你，不管他怎樣趕，你自己不要走；第三，人家整你，不管他怎樣整，你自己不要死。”

這三句話堅定了耿飚繼續為黨工作的決心，此后無論造反派怎么鬧，他都能做到泰然處之了。