99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

DeepSeek-R1超級外掛!“人類最后的考試”首次突破30分

0
分享至

西風 發自 凹非寺
量子位 | 公眾號 QbitAI

“人類最后的考試”首次突破30分,還是咱國內團隊干的!

該測試集是出了名的超難,剛推出時無模型得分能超過10分。

直到最近,最高分也不過26.9,由Kimi-Research和Gemini Deep Research并列取得。

現在,上海交大聯合深勢科技團隊突然發布了一項新研究,在“人類最后的考試”(HLE,Humanity’s Last Exam)上一舉拿下32.1分,創下新紀錄。



在這項研究中,團隊推出工具增強推理智能體X-Master多智能體工作流系統X-Masters。

劃重點:還直接把這套方案給開源了。

網友們紛紛感嘆現在AI競賽太激烈,一天一個樣。



另外值得一提的是,這項研究使用了DeepSeek-R1-0528作為驅動智能體的推理模型,由此也有網友表示:

R1在函數調用上表現仍欠佳,而且在這項研究里甚至沒有針對這一點進行微調。但即便如此,只要給它搭配合適的框架,它在HLE這個難度很高的測試中就能拿到32%的成績。
雖然大家可能會習慣性地稱R1為“最佳基礎模型”,但我覺得這其實是給V4打下了基礎。我敢肯定,V4一出來就會自帶智能體功能。



怎么做到的?

具體來看X-Master和X-Masters,這是該團隊SciMaster系列研究的第一部分,旨在開發通用科學AI智能體。

X-Master是一個由開源模型(如DeepSeek-R1)驅動的工具增強型推理智能體,其核心設計理念是模擬人類研究者的動態問題解決過程,在內部推理和外部工具使用之間流暢切換。

這一過程形成了一個共生循環:

工具輸出為智能體的推理提供關鍵反饋,幫助其完善推理;而更清晰的推理又能引導智能體更智能、更高效地使用工具。

實現這一過程的核心機制是將代碼概念化為一種交互語言

當X-Master遇到無法通過內部推理解決的問題時,它會將精確的行動計劃編寫為代碼塊。這個“計劃”隨后會被執行,與任何所需資源進行接口連接,這些資源既包括NumPy和SciPy的強大數值計算能力,也包括團隊專門設計的用于實時網絡搜索和數據提取的工具包。

執行結果會被無縫吸收回智能體的上下文環境中,豐富其知識儲備,并為后續推理提供依據。



具體而言,在智能體的思考過程中,即在token“”和“”之間,智能體既可以生成非代碼文本用于推理,也可以在特殊token“”之間生成代碼以與環境進行交互。

”和“

一旦通過字符串匹配檢測到這種模式,其中的代碼就會被提取出來,并在一個沙盒環境中執行,在該環境中可以訪問各種Python庫和工具。

執行結果隨后會被附加到模型的上下文中,并由特殊token“”和“”包裹。

之后,推理模型會繼續其思考過程,解讀執行結果并進一步推理,直到發起下一次交互或思考結束。

由于當前可用的強推理模型(如DeepSeek-R1)本質上是非智能體的,并且往往在遵循指令方面能力有限,僅依靠傳統的提示工程不足以可靠地引導這些模型展現出預期的智能體行為。

因此,團隊還引入了一個簡單而有效的機制:初始推理引導

該機制不會讓推理模型在收到用戶查詢后立即開始不受約束的思考過程,而是在模型的初始“”token之后直接嵌入一系列引導文本。

這些引導文本特意從推理智能體自身的角度出發來設計,采用第一人稱表述,例如“我可以通過訪問外部環境有效回答這個查詢”“每當我確定需要與外部工具交互時,我會生成包裹在token之間的Python代碼”。

團隊表示,通過將這些精心設計的自我陳述拼接至模型的上下文中,可有效地引導模型“相信”自身具備增強的能力。

即便沒有針對智能體行為進行明確的微調,該模型也能夠自主生成和執行代碼,與環境交互,并最終發揮出強大的智能體功能。

接下來,為充分發揮X-Master的潛力,團隊設計X-Masters,這是一種分散-堆疊式智能體工作流,通過編排多智能體認知過程,系統地增強推理的廣度和深度。



在這個過程中,X-Master的不同實例承擔著多種專門角色。

“分散”階段旨在拓寬思路,多個求解器(Solver)智能體并行工作,生成多樣化的解決方案,同時批評者(Critic)智能體對這些方案可能存在的缺陷進行修正。

接著“堆疊”階段用于深化思考重寫器(Rewriter)智能體將所有先前的輸出綜合成更優的解決方案,最后由選擇器(Selector)智能體裁定出最佳答案。

團隊表示,其分散-堆疊架構本質上是一種結構化探索和利用策略,與強化學習(RL)中的“Rollouts”概念有很強的相似性。

“分散”階段類似于強化學習中Rollouts的探索原理,即模擬多條未來軌跡以評估不同行動的潛力。后續的“堆疊”階段類似于強化學習中Rollouts之后的聚合和“利用”步驟。

首個在HLE上得分超過30%的系統

實驗部分,團隊使用DeepSeek-R1-0528作為驅動智能體的推理模型,最大完成token數設置為64k,temperature為0.6。

測試重點關注HLE的純文本子集,包含2518個樣本。評估運行工作流三次并報告平均分數,同時按照官方設置,使用o3-mini作為評判模型。

基線模型在HLE上的結果均來自現有的排行榜。

主要結果顯示,X-Masters取得了32.1%的最高分,超過了所有現有智能體和模型,這也是首個在HLE上得分超過30%的系統

跨不同類別的性能顯示,與DeepSeek-R1-0528相比,X-Masters在所有類別中都顯示出顯著改善:



消融研究結果揭示了智能體工作流中的漸進收益:

工具增強推理(求解器)使基線準確率提高了3.4%,迭代優化(批評者和重寫器)又增加了 9.5%,最終選擇(選擇器)則實現了32.1%的紀錄成績。



另外,團隊還將X-Masters與生物學領域科學智能體進行對比。

近期研究成果,如Biomni和STELLA,通過利用配備大量專業工具的大語言模型智能體,在應對生物學難題方面取得了一定進展。

而X-Masters,在HLE的生物學/醫學類別中,表現優于現有系統,Biomni的正確率是17.3%,STELLA大概 26%,而 X-Masters達到了27.6%。

并且Biomni和STELLA是從生物學/醫學類題目里挑了一部分來測試的,而X-Masters是考了這一類里所有222道純文字題,說明它在復雜生物醫學問題上的能力確實突出。



在一個叫TRQA-lit(choice)的生物學專門測試中,X-Masters也取得了目前最好的成績。這個測試里有172道多選題,都是生物學研究里的復雜任務,比如找治療靶點、研究生物醫學機制等

獨立的X-Master達到了62.1%的準確率,借助智能體工作流,X-Masters取得了67.4%的SOTA成績,體現了分散探索和堆疊選擇的有效性。

與整合了500多種專家工具的多智能體系統 OriGene相比,X-Master僅使用兩種網絡工具(網頁搜索和網頁解析),卻獲得了更高的準確率,進一步印證了X-Master工具增強推理過程的高效性,即通過廣泛探索和堆疊選擇,它能夠有效解決復雜的生物學任務。



“人類最后的考試”是什么?

“人類最后的考試”由AI安全中心和Scale AI發起,今年年初發布。剛發布時,包括o1在內,沒有一個模型得分超過10%,被稱作是史上最難大模型測試集。



題目來自500多家機構的1000多名學者,涉及機構包括高校、研究所和企業,還有來自醫療機構的學者以及一些獨立研究者等。OpenAI、Anthropic、谷歌DeepMind以及微軟研究院都包括在其中。

團隊收集到的題目需要經歷大模型和人工的雙重審查。不僅要達到研究生難度,而且還要確保不能被檢索到。當然題目還應當有明確的答案和評判方式,證明等開放式問題不會入選。

最終入圍的題目有3000多道。

入選的問題涵蓋了數理化、生物醫藥、工程和社會科學等多種學科,按細分學科來算則多達100余個。按大類來分,可分為八大類,其中占比最多的是數學(42%),然后是物理和生物醫藥(均為11%)。

其中有些題目,還會考察模型的視覺能力,比如解讀這種上古文字(翻譯由GPT-4o生成)。



有些題目還需要結合視覺信息和文本共同理解,比如在化學,特別是有機化學當中,需要用圖來表示相關物質的結構。



數學題計算機科學的題目,對推理的要求很高,難度be like:



足以見得,X-Masters拿下32.1分實屬不易,而這項突破性成果還是出自我們國內團隊之手。

共同一作Jingyi Chai、Shuo Tang、Rui Ye、Yuwen Du全部來自上海交通大學人工智能研究院,上海交大陳思衡副教授指導。

深勢科技方面,創始人兼首席科學家張林峰親自署名。



論文鏈接:https://arxiv.org/abs/2507.05241
GitHub鏈接:https://github.com/sjtu-sai-agents/X-Master
參考鏈接:https://x.com/gm8xx8/status/1942486326726611421

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
又一內鬼被抓!驚動央視,大量國家機密被泄露,作案人身份被曝光

又一內鬼被抓!驚動央視,大量國家機密被泄露,作案人身份被曝光

紅色國際
2025-07-08 21:15:03
天水鉛中毒事件里的血鉛正常,是事故還是作假?陶醫生干了這件事

天水鉛中毒事件里的血鉛正常,是事故還是作假?陶醫生干了這件事

疫苗與科學
2025-07-09 07:13:22
曼聯鐵衛臥推130KG征服球迷!有望提前復出,此前曾擔心今年報銷

曼聯鐵衛臥推130KG征服球迷!有望提前復出,此前曾擔心今年報銷

羅米的曼聯博客
2025-07-09 10:59:37
中央5臺直播女籃時間表:7月9日CCTV5、CCTV5+節目單 附女籃新賽程

中央5臺直播女籃時間表:7月9日CCTV5、CCTV5+節目單 附女籃新賽程

皮皮觀天下
2025-07-09 10:20:38
央視曝光!成本10塊賣5000塊,暴利500倍!網友智商稅

央視曝光!成本10塊賣5000塊,暴利500倍!網友智商稅

史行途
2025-07-09 08:25:23
炸裂!佛山女老師被舉報出軌多人,骯臟聊天曝光,自稱被頂到腰疼

炸裂!佛山女老師被舉報出軌多人,骯臟聊天曝光,自稱被頂到腰疼

派大星紀錄片
2025-05-17 13:22:23
明明大版面記者調查一下就能結束的事,為什么要全靠網友瞎猜?

明明大版面記者調查一下就能結束的事,為什么要全靠網友瞎猜?

走讀新生
2025-07-09 21:48:02
“征服”一個中年女人,不要送禮物,也不要打電話,而是這樣做

“征服”一個中年女人,不要送禮物,也不要打電話,而是這樣做

蓮子說情感
2025-05-04 10:06:26
補扣絕殺!10中8高效砍下27+13,遼籃截胡廣東舊將,杜鋒欲哭無淚

補扣絕殺!10中8高效砍下27+13,遼籃截胡廣東舊將,杜鋒欲哭無淚

順靜自然
2025-07-09 16:00:02
拒絕1.63億續約!帶傷強行復出,納什再談哈登,他說出心里話

拒絕1.63億續約!帶傷強行復出,納什再談哈登,他說出心里話

巴叔GO聊體育
2025-07-09 16:33:21
一種人生謀略:帝王心態

一種人生謀略:帝王心態

詩詞中國
2025-07-09 15:38:02
老人走過半生才明白:真正內心強大的人,不會對任何事情做預設

老人走過半生才明白:真正內心強大的人,不會對任何事情做預設

澤澤先生
2025-07-09 13:46:17
380萬拆遷款全給弟弟,姐姐跪求5萬救命被拒,15年父母報應來了

380萬拆遷款全給弟弟,姐姐跪求5萬救命被拒,15年父母報應來了

曉艾故事匯
2025-07-09 17:17:38
涉嫌竊密?烏克蘭情報部門抓捕兩名中國公民

涉嫌竊密?烏克蘭情報部門抓捕兩名中國公民

頭條爆料007
2025-07-10 00:18:32
剛剛!橙色預警!網友:說好的暴雨呢?福州氣象回應……

剛剛!橙色預警!網友:說好的暴雨呢?福州氣象回應……

福州晚報
2025-07-09 15:26:20
43歲女子姐弟戀懷孕后婆婆不認可,婆婆:她兒子和我兒子差不多大

43歲女子姐弟戀懷孕后婆婆不認可,婆婆:她兒子和我兒子差不多大

觀威海
2025-07-07 10:45:29
“多人收到河北文旅千條短信轟炸”,運營商:建議開啟屏蔽功能

“多人收到河北文旅千條短信轟炸”,運營商:建議開啟屏蔽功能

揚子晚報
2025-07-09 21:52:50
毛主席雖活了83歲,保健醫生卻說:其實毛主席不具備長壽條件

毛主席雖活了83歲,保健醫生卻說:其實毛主席不具備長壽條件

老謝談史
2025-06-25 19:08:07
丈夫外出打工,母女被同一人騙色,9萬元積蓄被卷走……

丈夫外出打工,母女被同一人騙色,9萬元積蓄被卷走……

極品小牛肉
2024-06-17 11:12:59
魯比奧專機繞飛亞洲才明白:不是中國不讓他進,是他根本不配進!

魯比奧專機繞飛亞洲才明白:不是中國不讓他進,是他根本不配進!

博覽歷史
2025-07-09 17:13:15
2025-07-10 03:59:00
量子位 incentive-icons
量子位
追蹤人工智能動態
10827文章數 176182關注度
往期回顧 全部

科技要聞

創造歷史,英偉達成首個4萬億美元上市公司

頭條要聞

紐約市長候選人稱若當選將逮捕內塔尼亞胡 特朗普發聲

頭條要聞

紐約市長候選人稱若當選將逮捕內塔尼亞胡 特朗普發聲

體育要聞

東亞杯-姚偉傳射+世界波邵子欽頭槌 女足2-2韓國

娛樂要聞

周杰倫開抖音號瘋漲三百萬粉絲

財經要聞

金店業績分化 為何"一口價"賣得更好了?

汽車要聞

比亞迪為智能泊車安全兜底 天神之眼全面OTA升級

態度原創

游戲
家居
親子
藝術
健康

口碑爆棚!《死亡擱淺2》獲得6月PS玩家選擇獎

家居要聞

以光為境 國寶花園別墅

親子要聞

媽媽:啊行行行不問了~

藝術要聞

故宮珍藏的墨跡《十七帖》,比拓本更精良,這才是地道的魏晉寫法

呼吸科專家破解呼吸道九大謠言!

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 灵台县| 洪泽县| 孟村| 望奎县| 盐津县| 肃南| 澜沧| 甘泉县| 循化| 明星| 时尚| 黄龙县| 屯昌县| 镇江市| 治县。| 准格尔旗| 濮阳县| 松滋市| 长寿区| 高雄县| 台南县| 县级市| 监利县| 宣化县| 子长县| 望谟县| 永康市| 荃湾区| 三门峡市| 沭阳县| 杂多县| 安阳市| 喀喇沁旗| 溆浦县| 西和县| 石台县| 江华| 垦利县| 宝兴县| 精河县| 巢湖市|