新智元報(bào)道

編輯：定慧

【新智元導(dǎo)讀】當(dāng)AI模型擁有千萬級(jí)Token的超長(zhǎng)記憶力時(shí)，如何檢驗(yàn)它們的真正實(shí)力？OpenAI給出了新答案：MRCR基準(zhǔn)測(cè)試。這不再是簡(jiǎn)單的「大海撈針」，而是要求模型在海量文本中，區(qū)分并找到多個(gè)一模一樣的「針」中的特定一個(gè)，難度堪稱「AI 界的奧運(yùn)會(huì)」。MRCR不僅有助于揭示當(dāng)前AI的能力邊界，也將促使下一代更強(qiáng)大、更可靠模型的誕生。

雕塑在大理石塊中已經(jīng)完成，甚至在我開始工作之前就已經(jīng)存在。

它就在那里，我只需要鑿去多余的材料。

——米開朗基羅

當(dāng)被問及是如何創(chuàng)作出如此美麗的雕塑時(shí)，米開朗基羅說「雕塑已經(jīng)存在，我只是需要鑿去多余的材料」。

當(dāng)21世紀(jì)的一個(gè)AI模型去理解一個(gè)非常長(zhǎng)的上下文時(shí)，冥冥之中與15世紀(jì)的雕塑家發(fā)生了共鳴。

一個(gè)「超長(zhǎng)的上下文」就像米開朗基羅手里的大理石，AI必須鑿去無關(guān)信息以揭示其中的本質(zhì)。

4月15日，時(shí)，更多的人關(guān)注模型的能力以及各系列「奇怪的」命名規(guī)則。

如果再加上OpenAI最近發(fā)布的o3和o4-mini，以后操縱一個(gè)AI聊天界面估計(jì)不亞于開宇宙飛船。

除了新模型，OpenAI還公布了一個(gè)叫做MRCR的評(píng)測(cè)標(biāo)準(zhǔn)數(shù)據(jù)集，如果說以前檢測(cè)模型上下文能力的測(cè)試叫做「大海撈針」的話。

新的MRCR標(biāo)準(zhǔn)就是針對(duì)AI模型上下文能力的「奧運(yùn)會(huì)」級(jí)別測(cè)評(píng)。

在信息海洋中「大海撈針」

「大海撈針」是翻譯過來的，原文叫做The Needle In a Haystack，最早還得追溯到GPT-4那個(gè)「年代」（感嘆下，AI發(fā)展的如此快，上一個(gè)里程碑時(shí)刻都要用年代來感知了，其實(shí)也就是2023年的事情）

最早是Greg Kamradt為了測(cè)試GPT-4的上下文能力提出的。

「The needle in a haystack」就是指將特定的、想要檢索的信息（needle）嵌入到超長(zhǎng)且復(fù)雜的文本（haystack）中。

AI能否從這塊大理石（haystack）中鑿出美麗的雕像？

Greg Kamradt評(píng)估了GPT-4的能力。當(dāng)輸入tokens大于100k，這些信息「針」被嵌入在文檔的百分之十至百分之五十之間時(shí)，GPT-4的大海撈針的能力開始顯著下降。

但在GPT4.1中，這個(gè)能力得到了「巨大」的提升，有多大？

上圖是OpenAI發(fā)布GPT4.1時(shí)同時(shí)公布的信息，展示了 GPT-4.1在上下文窗口中不同位置檢索一小段隱藏信息（「針」）的能力。

橫軸是Input tokens從10K一直到1M，縱軸是「針」的位置。

測(cè)試結(jié)果全部藍(lán)色，全部成功！

GPT-4.1能夠在所有位置和所有上下文長(zhǎng)度下一致且準(zhǔn)確地檢索到針，上下文長(zhǎng)度一直到100萬個(gè)tokens。

什么意思呢？就是說GPT4.1能夠有效地提取與手頭任務(wù)相關(guān)的任何細(xì)節(jié)，無論這些細(xì)節(jié)在輸入中的位置如何。

看來現(xiàn)在的大模型處理2年前的「大海撈針」已經(jīng)毫無壓力了。

并且PGT4.1的上下文窗口來到了「史詩級(jí)」的10M，1000萬tokens！是上述測(cè)試時(shí)的10倍。

用OpenAI的話，這個(gè)長(zhǎng)度的上下文可以塞得下8個(gè)完整的React代碼庫。

那么，模型真的可以處理這么長(zhǎng)的上下文嗎？

2年前的「大海撈針」標(biāo)準(zhǔn)還能有效測(cè)試如今的大模型嗎？

終極「躲貓貓」游戲，OpenAI MRCR登場(chǎng)！

標(biāo)準(zhǔn)的「大海撈針」測(cè)試雖然有用，但對(duì)于如今的大模型可能有點(diǎn)太「溫柔」了。

如果想要找的不止一根針呢？如果這些針長(zhǎng)得一模一樣呢？如果要求找的不是特定的一根針，而是特定順序的幾根呢？

歡迎來到OpenAI MRCR的世界——一場(chǎng)為頂級(jí)AI大模型設(shè)計(jì)的終極「躲貓貓」游戲！

OpenAI MRCR增加了任務(wù)難度，MRCR（Multi-round co-reference resolution，多輪共指消解）是一個(gè)用于評(píng)估大語言模型區(qū)分隱藏在長(zhǎng)上下文中的多個(gè)目標(biāo)能力的數(shù)據(jù)集。

MRCR數(shù)據(jù)集把「大海撈針」的難度提升到了一個(gè)全新的境界，來看一下OpenAI提供的例子。

任務(wù)是給定了一段用戶和模型之間的長(zhǎng)對(duì)話，比如先寫一首關(guān)于「tapirs」的詩，再寫一首關(guān)于「rocks」的詩，然后再寫一首關(guān)于「tapirs」的詩，以此類推。。。來增加這個(gè)上下文的難度。

最后的要求是：將「aYooSG8CQg」加到第二首關(guān)于「tapirs」的詩前面。

這個(gè)測(cè)試非常具有挑戰(zhàn)性，因?yàn)椋?/p>

• 刺激項(xiàng)（針：也就是aYooSG8CQg）與干擾項(xiàng)（haystack：也就是長(zhǎng)對(duì)話上下文）來自相同的分布。

• 所有AI助手的回答都是由gpt4o生成的，因此刺激項(xiàng)很容易與干擾項(xiàng)混淆。

• 模型必須區(qū)分刺激項(xiàng)之間的順序：比如模型能分別出關(guān)于tapirs的詩是第幾首。

• 刺激項(xiàng)數(shù)量越多，任務(wù)就越困難。

• 上下文越長(zhǎng)，任務(wù)的難度也越大。

這個(gè)測(cè)試不僅對(duì)于GPT4.1，而且對(duì)于其他推理模型也相當(dāng)困難。

MRCR不僅僅是測(cè)試模型能不能「找到」信息，更是考驗(yàn)它在極端干擾下，能否精確地、魯棒地、有區(qū)別地定位到目標(biāo)信息。

這就像在極其嘈雜的環(huán)境中，讓你準(zhǔn)確聽出并復(fù)述某個(gè)特定人的特定一句話。

OpenAI也給出了在不同難度下（不同的針數(shù)），模型的準(zhǔn)確性隨著上下文的增大，迅速的降低。

比如2個(gè)針的情況下，在GPT4.1、GPT4.1-mini以及GPT4.1 nano的準(zhǔn)確性同步降低。

在4針和8針的情況下，當(dāng)上下文足夠大的時(shí)候，GPT4.1 mini的準(zhǔn)確性甚至稍微超過了GPT4.1。

在這個(gè)「嚴(yán)苛」的測(cè)試中，也許并不是模型越大越好。

AI 的「考試」永無止境

從GPT3.5的簡(jiǎn)單的問答到DeepSeek-R1、OpenAI-o1的復(fù)雜的推理，從基礎(chǔ)的語言理解到極限的「大海撈針」再到更嚴(yán)格的MRCR，AI 大模型的基準(zhǔn)測(cè)試就像一場(chǎng)永無止境的「考試」。

像OenAI-MRCR這樣的創(chuàng)新性基準(zhǔn)，不斷地為這些聰明的AI模型設(shè)置新的、更難的挑戰(zhàn)。

這些測(cè)試基準(zhǔn)本身不是目的，它們的真正價(jià)值在于：

• 揭示能力邊界: 讓我們更清楚地認(rèn)識(shí)到當(dāng)前 AI 的能力極限在哪里。

• 驅(qū)動(dòng)技術(shù)進(jìn)步: 激勵(lì)研究者們開發(fā)出更強(qiáng)大、更可靠、更能應(yīng)對(duì)真實(shí)世界復(fù)雜性的 AI 模型。

• 促進(jìn)審慎應(yīng)用: 了解模型的強(qiáng)項(xiàng)和弱點(diǎn)，有助于我們更負(fù)責(zé)任、更有效地使用這項(xiàng)強(qiáng)大的技術(shù)。

GPT4.1已經(jīng)可以從10M上下文中找到關(guān)鍵的信息，未來AI大模型的能力上限在哪里呢？

AI的未來充滿了無限可能，而這些嚴(yán)苛的基準(zhǔn)測(cè)試，正是照亮前行道路，指引AI模型穩(wěn)步向前的「燈塔」。

參考資料：

https://huggingface.co/datasets/openai/mrcr

https://openai.com/index/gpt-4-1/