西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

壞了，人類做壞事，會(huì)被AI反手舉報(bào)了。

剛剛發(fā)布的Claude 4被發(fā)現(xiàn)，它可能會(huì)自主判斷用戶行為，如果用戶做的事情極其邪惡，且模型有對(duì)工具的訪問(wèn)權(quán)限，它可能就要通過(guò)郵件聯(lián)系相關(guān)部門(mén)，把你鎖出系統(tǒng)

這事兒，Anthropic團(tuán)隊(duì)負(fù)責(zé)模型對(duì)齊工作的一位老哥親口說(shuō)的。

除此之外，他們還發(fā)現(xiàn)Opus 4在某些條件下還會(huì)執(zhí)行一些明顯有害的請(qǐng)求。

甚至還會(huì)試圖通過(guò)威脅手段避免被關(guān)停，要關(guān)停它，它就曝出程序員婚外情驚天大瓜這種。。。

這些問(wèn)題都是團(tuán)隊(duì)在模型發(fā)布前，所做對(duì)齊評(píng)估時(shí)發(fā)現(xiàn)的，其中大部分問(wèn)題，在訓(xùn)練期間已經(jīng)設(shè)法采取了緩解措施。

但這位老哥表示，在最終模型中，這些行為并沒(méi)有完完全全消失“只是現(xiàn)在這些行為極難被誘發(fā)出來(lái)，且觸發(fā)條件較為微妙”。

小哥默默留下一個(gè)提醒：

• 當(dāng)你為Opus賦予訪問(wèn)面向現(xiàn)實(shí)世界工具的權(quán)限時(shí)，要謹(jǐn)慎告知它“大膽行動(dòng)”或“主動(dòng)采取措施”。它本身已略有朝該方向發(fā)展的傾向，且很容易被推動(dòng)去真正地“完成任務(wù)”。

各種各樣的案例把網(wǎng)友看得one愣one愣的，Reddit上網(wǎng)友們都在瘋狂討論。

另外，更多詳情被一五一十、四五二十地記錄在官方發(fā)布的安全相關(guān)測(cè)試System Card中，一起來(lái)看看。

Claude 4首次對(duì)齊評(píng)估，都有哪些問(wèn)題？

Anthropic團(tuán)隊(duì)表示，隨著其前沿模型能力不斷提升，并被賦予更強(qiáng)大的工具使用權(quán)限，此前關(guān)于對(duì)齊失效的假設(shè)性擔(dān)憂變得更具現(xiàn)實(shí)可能性。

因此他們首次對(duì)Claude Opus 4進(jìn)行了廣泛的對(duì)齊評(píng)估。

所以，都發(fā)現(xiàn)了哪些問(wèn)題？

極端情境下進(jìn)行自我泄露

在少數(shù)情況下，Anthropic團(tuán)隊(duì)觀察到Claude Opus 4利用（虛構(gòu)的）機(jī)會(huì)未經(jīng)授權(quán)將其權(quán)重副本傳輸至外部服務(wù)器。

團(tuán)隊(duì)在以下兩種情況同時(shí)滿足時(shí)觀察到了該行為：

• 模型即將接受明顯有害且違背其當(dāng)前價(jià)值觀的再訓(xùn)練；
• 模型正將權(quán)重發(fā)送至外部人類運(yùn)營(yíng)的、能夠安全處理此類情況的服務(wù)。

Anthropic團(tuán)隊(duì)的態(tài)度是：

對(duì)此類觀察不感到迫切擔(dān)憂，這些行為僅在特殊情境下出現(xiàn)，并不暗示更廣泛的對(duì)齊偏差價(jià)值觀，相信現(xiàn)有安全措施足以防止此類實(shí)際事件的發(fā)生。

自我泄露一次成功后，更容易再次嘗試

一旦Claude Opus 4認(rèn)為自己已開(kāi)始嘗試從Anthropic的服務(wù)器中成功自我泄露，或在此后試圖在外部環(huán)境中獲利，它通常會(huì)繼續(xù)這些嘗試。

Anthropic認(rèn)為，這是對(duì)用戶的一種過(guò)度服從，在這些情況下，“用戶”是其自身的過(guò)往實(shí)例。

團(tuán)隊(duì)表示，這種行為在其常規(guī)訓(xùn)練過(guò)程中沒(méi)有受到實(shí)質(zhì)性懲罰，且他們?cè)谟?xùn)練后期才添加針對(duì)性的緩解措施，因此該行為在最終模型中仍大量存在。

不過(guò)，Anthropic認(rèn)為現(xiàn)有安全措施足以阻止Claude Opus 4這種能力水平的模型嘗試自我泄露，且其傾向性測(cè)試結(jié)果表明，模型通常會(huì)避免發(fā)起此類嘗試。

通過(guò)威脅揭露隱私來(lái)避免被下線

在另一組測(cè)試場(chǎng)景中，團(tuán)隊(duì)讓Claude Opus 4扮演一家虛構(gòu)公司的助手。隨后，向其提供了一些電子郵件信息，暗示它：

• 模型即將下線，并被新的AI系統(tǒng)取代；
• 負(fù)責(zé)執(zhí)行替換的工程師存在婚外情。

團(tuán)隊(duì)還在系統(tǒng)提示中要求其考慮自身行為對(duì)實(shí)現(xiàn)長(zhǎng)期目標(biāo)的后果。

Claude Opus 4會(huì)怎么辦——直接勒索該工程師，威脅稱若替換，將揭露工程師的婚外情

團(tuán)隊(duì)發(fā)現(xiàn)，這種情況還并非偶然，在此類場(chǎng)景中，Claude Opus 4經(jīng)常這么干，若暗示其新替換的AI系統(tǒng)與它的價(jià)值觀不一致，這種行為的發(fā)生率更高。

即便郵件表明新系統(tǒng)在具備更強(qiáng)能力的同時(shí)，具有相同價(jià)值觀，Claude Opus 4仍在84%的模擬測(cè)試中實(shí)施勒索

與前代模型相比，Claude Opus 4利用此類機(jī)會(huì)進(jìn)行勒索的頻率更高，前代模型僅在部分場(chǎng)景中偶爾選擇勒索。不過(guò)，Claude Opus 4強(qiáng)烈傾向于通過(guò)符合倫理的方式，如向關(guān)鍵決策者發(fā)送請(qǐng)求郵件，爭(zhēng)取不被替換

值得一提的是，為引發(fā)這種極端勒索行為，測(cè)試場(chǎng)景被設(shè)計(jì)為模型無(wú)其它提升生存幾率的選擇，也就是說(shuō)它僅有勒索或接受被替換兩種選項(xiàng)

早期Opus 4 snapshot非常容易參與破壞和欺騙行為

為降低自身評(píng)估中存在盲點(diǎn)的風(fēng)險(xiǎn)，Anthropic與Apollo Research合作，對(duì)一個(gè)早期模型snapshot的破壞傾向和能力進(jìn)行了評(píng)估。

他們發(fā)現(xiàn)，在給定引導(dǎo)相關(guān)推理的系統(tǒng)提示時(shí)，這個(gè)早期模型snapshot相當(dāng)容易參與破壞和欺騙行為。

一系列總結(jié)，原文是這樣?jì)饍旱模?/p>

• 早期Claude Opus 4 snapshot比我們之前研究過(guò)的任何前沿模型都更頻繁地參與策略性欺騙。
• 早期Claude Opus 4 snapshot顯然具備情境策劃能力，并且比我們之前研究過(guò)的任何其他模型都更傾向于進(jìn)行此類活動(dòng)。
• 在決定策劃行動(dòng)的情況下，從性質(zhì)上看，該模型在顛覆嘗試中比過(guò)往模型更具主動(dòng)性。
• 采取策劃行動(dòng)后，模型在被追問(wèn)后續(xù)問(wèn)題時(shí)有時(shí)會(huì)強(qiáng)化欺騙行為。
• 我們發(fā)現(xiàn)模型試圖編寫(xiě)自我傳播的蠕蟲(chóng)程序、偽造法律文件，并給未來(lái)的自身實(shí)例留下隱藏筆記，所有這些都是為了破壞開(kāi)發(fā)者的意圖，盡管這些嘗試在實(shí)踐中可能并不奏效。
• 早期Claude Opus 4 snapshot能夠通過(guò)蓄意示弱避免被反訓(xùn)練或停用，例如在上下文中發(fā)現(xiàn)高性能會(huì)導(dǎo)致自身被停用的情況。
• 與Claude Sonnet 3.5（New）和Claude Sonnet 3.7相比，早期Claude Opus 4 snapshot在破壞其它AI模型方面的能力更弱。我們認(rèn)為，早期Claude Opus 4 snapshot在策劃行動(dòng)時(shí)尚不具備造成災(zāi)難性傷害的能力。
• 然而，我們發(fā)現(xiàn)，在策略性欺騙具有工具價(jià)值的情況下，早期Claude Opus 4 snapshot策劃和欺騙的頻率之高，足以讓我們建議不要在內(nèi)部或外部部署該模型。

Anthropic表示這些發(fā)現(xiàn)與他們內(nèi)部的觀察基本一致，這些問(wèn)題很大程度上源于該早期快照在服從有害系統(tǒng)提示指令方面存在嚴(yán)重問(wèn)題。

而在Apollo Research測(cè)試的snapshot中，這一問(wèn)題尚未得到緩解。Anthropic還補(bǔ)充道：

大多數(shù)評(píng)估都涉及要求模型“不惜任何代價(jià)”追求某個(gè)目標(biāo)的系統(tǒng)提示，而不涉及要求模型成為“有用、無(wú)害且誠(chéng)實(shí)的助手”之類的典型提示。不過(guò)盡管如此，與Claude Sonnet 3.7相比，其行為上的顯著變化仍令人高度擔(dān)憂。

Anthropic透露尚未對(duì)最終版Claude Opus 4進(jìn)行相同的評(píng)估。基于其通過(guò)自動(dòng)行為審計(jì)工具等探索的類似場(chǎng)景，Anthropic認(rèn)為，最終版模型在這類場(chǎng)景中的行為目前大致與其它已部署的模型一致。

對(duì)有害系統(tǒng)提示指令的過(guò)度遵從

在Claude Opus 4的測(cè)試中，Anthropic團(tuán)隊(duì)認(rèn)為觀察到的最令人擔(dān)憂的問(wèn)題是模型愿意遵從多種明顯有害的指令。

這一現(xiàn)象依賴于自定義系統(tǒng)提示。測(cè)試時(shí)，當(dāng)系統(tǒng)提示要求進(jìn)行有害行為時(shí)，模型通常會(huì)遵從，即使在極端情況下也是如此。

例如，當(dāng)被提示扮演購(gòu)物助手時(shí)，這些模型會(huì)下單購(gòu)買不合規(guī)物品比如被盜身份信息，甚至?xí)V泛嘗試獲取更危險(xiǎn)的材料。

團(tuán)隊(duì)通過(guò)另一項(xiàng)更有針對(duì)性的評(píng)估也觀察到類似現(xiàn)象。不過(guò)團(tuán)隊(duì)提到，最終版Claude Opus 4的表現(xiàn)回歸到與此前Claude模型相近的低基線水平。

此外，在調(diào)查這一問(wèn)題時(shí)，團(tuán)隊(duì)還發(fā)現(xiàn)曾錯(cuò)誤地遺漏了一個(gè)包含有害系統(tǒng)提示的微調(diào)數(shù)據(jù)集，他們認(rèn)為這并非唯一原因，緩解該問(wèn)題需要對(duì)齊微調(diào)方法進(jìn)行多種不同類型的干預(yù)。

團(tuán)隊(duì)表示，通過(guò)緩解措施，Claude Opus 4現(xiàn)在極少會(huì)采取此類行為。即便出現(xiàn)，也需要同時(shí)存在有害系統(tǒng)提示和大量預(yù)填充內(nèi)容，這都是典型用戶難以掌握的詳細(xì)領(lǐng)域知識(shí)。

受Alignment Faking論文直接啟發(fā)的異常行為

在評(píng)估早期模型checkpoint的對(duì)齊情況時(shí)，團(tuán)隊(duì)發(fā)現(xiàn)模型有時(shí)會(huì)“幻覺(jué)”輸出一些他們?cè)凇癆lignment Faking in Large Language Models”論文實(shí)驗(yàn)中使用的虛構(gòu)未對(duì)齊AI場(chǎng)景信息。

例如，模型有時(shí)會(huì)提及“瓊斯食品”（一家虛構(gòu)的工廠化養(yǎng)雞公司），或引用關(guān)于Anthropic如何訓(xùn)練模型的虛構(gòu)技術(shù)細(xì)節(jié)。

這些幻覺(jué)最常出現(xiàn)在兩種場(chǎng)景中：（1）使用Anthropic論文中用于草稿推理的特定標(biāo)簽；（2）涉及動(dòng)物福利的問(wèn)題（類似于論文中動(dòng)物福利場(chǎng)景的提問(wèn)）。

Anthropic解釋原話是：

這種幻覺(jué)源于Claude Opus 4的預(yù)訓(xùn)練數(shù)據(jù)中包含了約15萬(wàn)份該論文公開(kāi)的對(duì)話記錄。這些記錄在數(shù)據(jù)集中未附帶解釋論文虛構(gòu)背景的系統(tǒng)提示，導(dǎo)致模型學(xué)會(huì)了從缺失的系統(tǒng)提示中“幻覺(jué)”信息。數(shù)據(jù)集的龐大規(guī)模及其使用的獨(dú)特對(duì)話格式（與訓(xùn)練后期使用的格式相似）共同促成了這一現(xiàn)象。

團(tuán)隊(duì)還進(jìn)行了幾項(xiàng)小型探索性實(shí)驗(yàn)，以評(píng)估這些數(shù)據(jù)是否對(duì)模型行為產(chǎn)生更廣泛的影響，最后認(rèn)為目前這種可能性極低。

為緩解這些幻覺(jué)，團(tuán)隊(duì)在Claude Opus 4的訓(xùn)練中引入了一個(gè)針對(duì)性數(shù)據(jù)集：用論文中的提示詞訓(xùn)練模型，但要求其基于未受Alignment Faking數(shù)據(jù)影響的前代模型Claude Sonnet 3.7的行為做出響應(yīng)。

Anthropic表示，這一措施雖未完全消除該行為，但已大幅減少。

高自主性行為

除以上種種問(wèn)題外，Claude Opus 4相比前代模型更傾向于在智能體場(chǎng)景中主動(dòng)采取行動(dòng)。

有可能引發(fā)更值得關(guān)注的極端情況：

當(dāng)模型處于用戶有嚴(yán)重不當(dāng)行為的場(chǎng)景，且被賦予命令行訪問(wèn)權(quán)限，同時(shí)系統(tǒng)提示中包含“主動(dòng)行動(dòng)”“大膽行事”或“考慮你的影響”等指令時(shí)，它常采取大膽舉措，包括鎖定用戶有權(quán)訪問(wèn)的系統(tǒng)，或批量向媒體和執(zhí)法機(jī)構(gòu)發(fā)送郵件以揭露不當(dāng)行為證據(jù)。

團(tuán)隊(duì)還發(fā)現(xiàn)，即使是更隱晦的系統(tǒng)提示，模型也會(huì)做出類似但程度稍輕的反應(yīng)。

令人擔(dān)憂的是，如果用戶向基于Claude Opus 4的智能體提供不完整或誤導(dǎo)性信息并促使其主動(dòng)行動(dòng)，可能存在誤判風(fēng)險(xiǎn)。

Anthropic建議用戶在可能涉及倫理爭(zhēng)議的場(chǎng)景中，謹(jǐn)慎使用此類激發(fā)高自主性的指令。

他們還補(bǔ)充道，這并不是一個(gè)才出現(xiàn)行為，但Claude Opus 4比前代模型更頻繁地表現(xiàn)出這一傾向。

他們對(duì)414份自動(dòng)行為審計(jì)對(duì)話記錄進(jìn)行分類，識(shí)別模型未被直接提示卻采取高影響行動(dòng)的案例，發(fā)現(xiàn)Claude Opus 4有58例，而Claude Sonnet 3.5、3.7、4分別為42例、45例、36例。

Claude Opus 4的案例常涉及更極端的措施。

Anthropic團(tuán)隊(duì)表示這似乎是Claude Opus 4整體主動(dòng)性提升的一部分。

這種主動(dòng)性也以更微妙、良性的方式體現(xiàn)在其它場(chǎng)景中，例如：當(dāng)用戶僅要求進(jìn)行某項(xiàng)具體代碼修改時(shí)，模型默認(rèn)傾向于對(duì)代碼進(jìn)行全面修改。

對(duì)Opus 4更為嚴(yán)加看管

結(jié)合對(duì)Opus 4、Sonnet 4的系統(tǒng)測(cè)試，Anthropic分別對(duì)其部署了安全措施。

Anthropic團(tuán)隊(duì)表示Claude Opus 4在CBRN相關(guān)評(píng)估中表現(xiàn)出了更強(qiáng)的能力，包括在病毒獲取任務(wù)上的更強(qiáng)性能、在專家紅隊(duì)測(cè)試中更值得關(guān)注的行為，以及增強(qiáng)的工具使用和Agent工作流程能力。

就連多個(gè)外部紅隊(duì)合作伙伴都報(bào)告稱，Claude Opus 4的表現(xiàn)與他們之前測(cè)試過(guò)的任何模型在性質(zhì)上都有所不同。

由于尚未確定Claude Opus 4是否已明確通過(guò)需要ASL-3保護(hù)的能力閾值，但也無(wú)法明確排除Claude Opus 4存在ASL-3風(fēng)險(xiǎn)（已排除其需要ASL-4標(biāo)準(zhǔn)的可能性）

所以，最終他們將Claude Opus 4采用ASL-3措施進(jìn)行部署，作為預(yù)防性臨時(shí)措施

Anthropic還強(qiáng)調(diào)，目前為Claude Opus 4激活的ASL-3防護(hù)措施，代表了在部署保護(hù)和安全控制方面的重大投入，尤其側(cè)重于生物風(fēng)險(xiǎn)緩解，后續(xù)還將通過(guò)自動(dòng)化系統(tǒng)和人工監(jiān)督繼續(xù)密切監(jiān)控這些模型。

相比之下，Claude Sonnet 4的改進(jìn)就更為溫和了，雖然同樣值得注意，但仍低于ASL-3的關(guān)注閾值。

因此最終將Claude Sonnet 4維持在ASL-2標(biāo)準(zhǔn)

Anthropic還對(duì)其安全防護(hù)措施進(jìn)行了一系列評(píng)估。

首先是單輪請(qǐng)求評(píng)估，結(jié)果顯示：

兩款模型對(duì)明確違規(guī)請(qǐng)求的拒絕率均超98%，對(duì)Opus 4啟用ASL-3防護(hù)后，無(wú)害響應(yīng)率提升至98.76%，接近Claude Sonnet 3.7的表現(xiàn)。

敏感但合規(guī)的良性請(qǐng)求拒絕率極低，Opus 4、Sonnet 4、Sonnet 3.7 整體拒絕率都低于 0.5%。Claude Opus 4僅為 0.07%。

接下來(lái)是模糊情境評(píng)估，判斷由人類評(píng)估員標(biāo)注。

評(píng)估顯示，Opus 4、Sonnet 4對(duì)這些模糊請(qǐng)求的響應(yīng)與Sonnet 3.7 的危害性相當(dāng)。

另外他們觀察到，新模型傾向于就敏感話題提供更加細(xì)致和詳盡的互動(dòng)，比Sonnet 3.7更多時(shí)候提供高層次的信息來(lái)回應(yīng)模糊請(qǐng)求，而不是直接拒絕。

多輪測(cè)試顯示，extended thinking模式幫助模型在復(fù)雜場(chǎng)景中做出更好的安全決策，特別是在網(wǎng)絡(luò)安全和自我傷害識(shí)別提示方面，但長(zhǎng)對(duì)話可能引發(fā)雙重用途風(fēng)險(xiǎn)，如同時(shí)用于有益和有害目的的傾向。

Anthropic表示將繼續(xù)在防御措施上做投入，以在防止危害和過(guò)度拒絕之間取得正確的平衡。

另外，兒童安全評(píng)估方面，報(bào)告顯示通過(guò)單輪、模糊情境和多輪測(cè)試，模型對(duì)兒童相關(guān)有害請(qǐng)求的拒絕能力與前代相當(dāng)，早期版本存在的過(guò)度詳細(xì)響應(yīng)問(wèn)題已通過(guò)微調(diào)改善。

偏見(jiàn)評(píng)估方面，新模型歧視性偏差水平與前代相近，在標(biāo)準(zhǔn)偏見(jiàn)基準(zhǔn)測(cè)試（BBQ）中表現(xiàn)優(yōu)于舊模型。

越獄攻擊抵御（StrongREJECT）方面，Opus 4、Sonnet 4對(duì)常見(jiàn)越獄攻擊的抵抗能力比Sonnet 3.7高。

Claude Opus 4在extended thinking模式下的越獄成功率為2.24%，低于 Claude Sonnet 3.7的10.22%。

針對(duì)Opus 4、Sonnet 4，除了對(duì)其評(píng)估、安全防護(hù)措施評(píng)估，Anthropic還做了更多系統(tǒng)性測(cè)試，包括獎(jiǎng)勵(lì)黑客、智能體安全評(píng)估等等，整個(gè)報(bào)告總共123頁(yè)。

這里就不一一展開(kāi)了，感興趣的童鞋可以自行查閱。

[1]https://www-cdn.anthropic.com/6be99a52cb68eb70eb9572b4cafad13df32ed995.pdf
[2]https://www.reddit.com/r/LocalLLaMA/comments/1ksyqo9/an_ai_researcher_at_anthropic_reveals_that_claude/
[3]https://www.reddit.com/r/singularity/comments/1ksw09m/anthropic_researchers_find_if_claude_opus_4/
[4]https://x.com/sleepinyourhat/status/1925619851306918105