99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

DeepSeek-R1超級外掛!“人類最后的考試”首次突破30分

0
分享至

西風 發自 凹非寺
量子位 | 公眾號 QbitAI

“人類最后的考試”首次突破30分,還是咱國內團隊干的!

該測試集是出了名的超難,剛推出時無模型得分能超過10分。

直到最近,最高分也不過26.9,由Kimi-Research和Gemini Deep Research并列取得。

現在,上海交大聯合深勢科技團隊突然發布了一項新研究,在“人類最后的考試”(HLE,Humanity’s Last Exam)上一舉拿下32.1分,創下新紀錄。



在這項研究中,團隊推出工具增強推理智能體X-Master多智能體工作流系統X-Masters。

劃重點:還直接把這套方案給開源了。

網友們紛紛感嘆現在AI競賽太激烈,一天一個樣。



另外值得一提的是,這項研究使用了DeepSeek-R1-0528作為驅動智能體的推理模型,由此也有網友表示:

R1在函數調用上表現仍欠佳,而且在這項研究里甚至沒有針對這一點進行微調。但即便如此,只要給它搭配合適的框架,它在HLE這個難度很高的測試中就能拿到32%的成績。
雖然大家可能會習慣性地稱R1為“最佳基礎模型”,但我覺得這其實是給V4打下了基礎。我敢肯定,V4一出來就會自帶智能體功能。



怎么做到的?

具體來看X-Master和X-Masters,這是該團隊SciMaster系列研究的第一部分,旨在開發通用科學AI智能體。

X-Master是一個由開源模型(如DeepSeek-R1)驅動的工具增強型推理智能體,其核心設計理念是模擬人類研究者的動態問題解決過程,在內部推理和外部工具使用之間流暢切換。

這一過程形成了一個共生循環:

工具輸出為智能體的推理提供關鍵反饋,幫助其完善推理;而更清晰的推理又能引導智能體更智能、更高效地使用工具。

實現這一過程的核心機制是將代碼概念化為一種交互語言

當X-Master遇到無法通過內部推理解決的問題時,它會將精確的行動計劃編寫為代碼塊。這個“計劃”隨后會被執行,與任何所需資源進行接口連接,這些資源既包括NumPy和SciPy的強大數值計算能力,也包括團隊專門設計的用于實時網絡搜索和數據提取的工具包。

執行結果會被無縫吸收回智能體的上下文環境中,豐富其知識儲備,并為后續推理提供依據。



具體而言,在智能體的思考過程中,即在token“”和“”之間,智能體既可以生成非代碼文本用于推理,也可以在特殊token“”之間生成代碼以與環境進行交互。

”和“

一旦通過字符串匹配檢測到這種模式,其中的代碼就會被提取出來,并在一個沙盒環境中執行,在該環境中可以訪問各種Python庫和工具。

執行結果隨后會被附加到模型的上下文中,并由特殊token“”和“”包裹。

之后,推理模型會繼續其思考過程,解讀執行結果并進一步推理,直到發起下一次交互或思考結束。

由于當前可用的強推理模型(如DeepSeek-R1)本質上是非智能體的,并且往往在遵循指令方面能力有限,僅依靠傳統的提示工程不足以可靠地引導這些模型展現出預期的智能體行為。

因此,團隊還引入了一個簡單而有效的機制:初始推理引導

該機制不會讓推理模型在收到用戶查詢后立即開始不受約束的思考過程,而是在模型的初始“”token之后直接嵌入一系列引導文本。

這些引導文本特意從推理智能體自身的角度出發來設計,采用第一人稱表述,例如“我可以通過訪問外部環境有效回答這個查詢”“每當我確定需要與外部工具交互時,我會生成包裹在token之間的Python代碼”。

團隊表示,通過將這些精心設計的自我陳述拼接至模型的上下文中,可有效地引導模型“相信”自身具備增強的能力。

即便沒有針對智能體行為進行明確的微調,該模型也能夠自主生成和執行代碼,與環境交互,并最終發揮出強大的智能體功能。

接下來,為充分發揮X-Master的潛力,團隊設計X-Masters,這是一種分散-堆疊式智能體工作流,通過編排多智能體認知過程,系統地增強推理的廣度和深度。



在這個過程中,X-Master的不同實例承擔著多種專門角色。

“分散”階段旨在拓寬思路,多個求解器(Solver)智能體并行工作,生成多樣化的解決方案,同時批評者(Critic)智能體對這些方案可能存在的缺陷進行修正。

接著“堆疊”階段用于深化思考重寫器(Rewriter)智能體將所有先前的輸出綜合成更優的解決方案,最后由選擇器(Selector)智能體裁定出最佳答案。

團隊表示,其分散-堆疊架構本質上是一種結構化探索和利用策略,與強化學習(RL)中的“Rollouts”概念有很強的相似性。

“分散”階段類似于強化學習中Rollouts的探索原理,即模擬多條未來軌跡以評估不同行動的潛力。后續的“堆疊”階段類似于強化學習中Rollouts之后的聚合和“利用”步驟。

首個在HLE上得分超過30%的系統

實驗部分,團隊使用DeepSeek-R1-0528作為驅動智能體的推理模型,最大完成token數設置為64k,temperature為0.6。

測試重點關注HLE的純文本子集,包含2518個樣本。評估運行工作流三次并報告平均分數,同時按照官方設置,使用o3-mini作為評判模型。

基線模型在HLE上的結果均來自現有的排行榜。

主要結果顯示,X-Masters取得了32.1%的最高分,超過了所有現有智能體和模型,這也是首個在HLE上得分超過30%的系統

跨不同類別的性能顯示,與DeepSeek-R1-0528相比,X-Masters在所有類別中都顯示出顯著改善:



消融研究結果揭示了智能體工作流中的漸進收益:

工具增強推理(求解器)使基線準確率提高了3.4%,迭代優化(批評者和重寫器)又增加了 9.5%,最終選擇(選擇器)則實現了32.1%的紀錄成績。



另外,團隊還將X-Masters與生物學領域科學智能體進行對比。

近期研究成果,如Biomni和STELLA,通過利用配備大量專業工具的大語言模型智能體,在應對生物學難題方面取得了一定進展。

而X-Masters,在HLE的生物學/醫學類別中,表現優于現有系統,Biomni的正確率是17.3%,STELLA大概 26%,而 X-Masters達到了27.6%。

并且Biomni和STELLA是從生物學/醫學類題目里挑了一部分來測試的,而X-Masters是考了這一類里所有222道純文字題,說明它在復雜生物醫學問題上的能力確實突出。



在一個叫TRQA-lit(choice)的生物學專門測試中,X-Masters也取得了目前最好的成績。這個測試里有172道多選題,都是生物學研究里的復雜任務,比如找治療靶點、研究生物醫學機制等

獨立的X-Master達到了62.1%的準確率,借助智能體工作流,X-Masters取得了67.4%的SOTA成績,體現了分散探索和堆疊選擇的有效性。

與整合了500多種專家工具的多智能體系統 OriGene相比,X-Master僅使用兩種網絡工具(網頁搜索和網頁解析),卻獲得了更高的準確率,進一步印證了X-Master工具增強推理過程的高效性,即通過廣泛探索和堆疊選擇,它能夠有效解決復雜的生物學任務。



“人類最后的考試”是什么?

“人類最后的考試”由AI安全中心和Scale AI發起,今年年初發布。剛發布時,包括o1在內,沒有一個模型得分超過10%,被稱作是史上最難大模型測試集。



題目來自500多家機構的1000多名學者,涉及機構包括高校、研究所和企業,還有來自醫療機構的學者以及一些獨立研究者等。OpenAI、Anthropic、谷歌DeepMind以及微軟研究院都包括在其中。

團隊收集到的題目需要經歷大模型和人工的雙重審查。不僅要達到研究生難度,而且還要確保不能被檢索到。當然題目還應當有明確的答案和評判方式,證明等開放式問題不會入選。

最終入圍的題目有3000多道。

入選的問題涵蓋了數理化、生物醫藥、工程和社會科學等多種學科,按細分學科來算則多達100余個。按大類來分,可分為八大類,其中占比最多的是數學(42%),然后是物理和生物醫藥(均為11%)。

其中有些題目,還會考察模型的視覺能力,比如解讀這種上古文字(翻譯由GPT-4o生成)。



有些題目還需要結合視覺信息和文本共同理解,比如在化學,特別是有機化學當中,需要用圖來表示相關物質的結構。



數學題計算機科學的題目,對推理的要求很高,難度be like:



足以見得,X-Masters拿下32.1分實屬不易,而這項突破性成果還是出自我們國內團隊之手。

共同一作Jingyi Chai、Shuo Tang、Rui Ye、Yuwen Du全部來自上海交通大學人工智能研究院,上海交大陳思衡副教授指導。

深勢科技方面,創始人兼首席科學家張林峰親自署名。



論文鏈接:https://arxiv.org/abs/2507.05241
GitHub鏈接:https://github.com/sjtu-sai-agents/X-Master
參考鏈接:https://x.com/gm8xx8/status/1942486326726611421

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
頑固臺獨分子柯建銘,家族在大陸的投資產業,柯家金脈即將斷絕

頑固臺獨分子柯建銘,家族在大陸的投資產業,柯家金脈即將斷絕

諾言卿史錄
2025-07-08 14:00:52
壕無人性!傳貝佐斯將買下《Vogue》送老婆,因她上了封面

壕無人性!傳貝佐斯將買下《Vogue》送老婆,因她上了封面

北美商業電訊
2025-07-09 14:00:01
這4種青菜是“催屎之王”,常給孩子吃排便通暢了,吃飯香身體棒

這4種青菜是“催屎之王”,常給孩子吃排便通暢了,吃飯香身體棒

斯佳麗的小廚房
2025-07-10 07:00:03
漓江景區遇難的兄弟,弟弟是醫學博士,哥哥在廣東有穩定工作

漓江景區遇難的兄弟,弟弟是醫學博士,哥哥在廣東有穩定工作

魔都姐姐雜談
2025-07-09 16:28:47
太像了,演“黑社會”最好的8個演員:孫紅雷僅排第5,楊爍沒上榜

太像了,演“黑社會”最好的8個演員:孫紅雷僅排第5,楊爍沒上榜

界史
2025-06-26 16:20:55
孫菲菲揭王陽雙面人面目后,再發10分鐘視頻曝更多王陽作惡細節

孫菲菲揭王陽雙面人面目后,再發10分鐘視頻曝更多王陽作惡細節

叨嘮
2025-07-10 02:24:06
炸!卡戴珊70歲親媽砸百萬整容拉皮返老還童?面容緊致自然大回春惹網友驚呼:從頭到腳鈔能力!

炸!卡戴珊70歲親媽砸百萬整容拉皮返老還童?面容緊致自然大回春惹網友驚呼:從頭到腳鈔能力!

英國報姐
2025-07-09 21:41:24
俄羅斯緩過勁來翻臉不認人,立馬對華兇狠下手,中方出手讓俄冷靜

俄羅斯緩過勁來翻臉不認人,立馬對華兇狠下手,中方出手讓俄冷靜

大道無形我有型
2025-07-08 21:17:23
婚姻好不好,去趟衛生間就知道了!

婚姻好不好,去趟衛生間就知道了!

犀利辣椒
2025-07-09 12:08:28
銀行鐵飯碗碎了!降薪潮橫掃職場,父母夢該醒醒了

銀行鐵飯碗碎了!降薪潮橫掃職場,父母夢該醒醒了

侃故事的阿慶
2025-07-09 06:57:28
她是國家一級女演員,多次給坐輪椅丈夫戴綠帽,如今兒子也是演員

她是國家一級女演員,多次給坐輪椅丈夫戴綠帽,如今兒子也是演員

趣文說娛
2025-07-05 15:51:51
正式退出!全紅嬋做出意外決定,世界泳聯批準,一切有跡可循

正式退出!全紅嬋做出意外決定,世界泳聯批準,一切有跡可循

涵豆說娛
2025-07-09 16:59:10
最后通牒120天,加拿大勒令中企關門走人,如今慘遭反噬

最后通牒120天,加拿大勒令中企關門走人,如今慘遭反噬

谷盟1
2025-07-09 09:14:53
紅姐到紅爺再到紅哥 無處不在的影像啊

紅姐到紅爺再到紅哥 無處不在的影像啊

攝影筆記
2025-07-08 13:57:11
中國有了自主研發的高性能芯片

中國有了自主研發的高性能芯片

界面新聞
2025-07-09 11:02:35
中俄邊界那點事,早已定調,別再炒作了

中俄邊界那點事,早已定調,別再炒作了

大道微言
2025-07-09 11:53:59
游泳世錦賽報項:潘展樂參加100、200自,張雨霏出戰100蝶

游泳世錦賽報項:潘展樂參加100、200自,張雨霏出戰100蝶

懂球帝
2025-07-10 01:10:04
翁帆終于不再隱瞞,含淚說出嫁給楊振寧的真實原因

翁帆終于不再隱瞞,含淚說出嫁給楊振寧的真實原因

粵語音樂噴泉
2025-07-09 07:42:38
“可以舉報了”,母親曬女兒在電網第一月工資,眼尖網友發現貓膩

“可以舉報了”,母親曬女兒在電網第一月工資,眼尖網友發現貓膩

知曉科普
2025-07-09 08:10:11
1958年,張治中對主席說:有個人借我3000元未還,他官很大

1958年,張治中對主席說:有個人借我3000元未還,他官很大

諾言卿史錄
2025-07-07 13:48:24
2025-07-10 07:43:00
量子位 incentive-icons
量子位
追蹤人工智能動態
10827文章數 176182關注度
往期回顧 全部

科技要聞

三星推三款折疊屏機 Fold 7起售價1999美元

頭條要聞

媒體:商務部對8家臺實體出手 臺軍的麻煩大了

頭條要聞

媒體:商務部對8家臺實體出手 臺軍的麻煩大了

體育要聞

東亞杯-姚偉傳射+世界波邵子欽頭槌 女足2-2韓國

娛樂要聞

周杰倫開抖音號瘋漲三百萬粉絲

財經要聞

潮玩規模破千億的幕后故事

汽車要聞

比亞迪為智能泊車安全兜底 天神之眼全面OTA升級

態度原創

游戲
數碼
教育
藝術
手機

口碑爆棚!《死亡擱淺2》獲得6月PS玩家選擇獎

數碼要聞

索尼發布 Hi-Res 高解析麥克風與高速大容量存儲卡、讀卡器

教育要聞

老師逼學生報清北事件后續:網傳家長對處理結果不滿意,要求開除

藝術要聞

故宮珍藏的墨跡《十七帖》,比拓本更精良,這才是地道的魏晉寫法

手機要聞

爆料稱iPhone 17 Air搭載特供版A19 Pro芯片,至少提供四種配色!

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 丹东市| 彰化县| 米泉市| 平和县| 临夏市| 同仁县| 福贡县| 临沂市| 张家口市| 北辰区| 竹北市| 柏乡县| 什邡市| 保亭| 沾化县| 沂源县| 开阳县| 乃东县| 聂拉木县| 通州区| 尤溪县| 保定市| 洞口县| 房山区| 得荣县| 和龙市| 博野县| 招远市| 镇雄县| 宣化县| 博罗县| 前郭尔| 论坛| 朝阳市| 老河口市| 沙雅县| 潮安县| 栾城县| 康定县| 樟树市| 海门市|