機(jī)器之心報(bào)道
機(jī)器之心編輯部
就在上個(gè)周末,Sam Altman 大張旗鼓地宣布,OpenAI 的一款未公開(kāi)實(shí)驗(yàn)性大語(yǔ)言模型在 2025 年國(guó)際數(shù)學(xué)奧林匹克競(jìng)賽(IMO)中達(dá)到了金牌水平,得分 35/42,成功躋身全球頂尖數(shù)學(xué)競(jìng)賽選手行列。
有意思的是,據(jù)報(bào)道不止 OpenAI,谷歌 DeepMind 在這次比賽中,也拿到了 IMO 金牌。但相比 OpenAI 的高調(diào)官宣,這次谷歌顯得有點(diǎn)低調(diào)。
谷歌的低調(diào)是有原因的,根據(jù) IMO 組委會(huì)一位成員、兩屆 IMO 金牌得主 Joseph Myers 的說(shuō)法,IMO 曾要求 AI 公司(即參賽的大模型)不要搶走參賽學(xué)生的風(fēng)頭,建議在閉幕式后一周再公布相關(guān)結(jié)果,一方面是出于對(duì)人類參賽者的尊重,另一方面也是為了留出時(shí)間對(duì)人工智能提交的答案和格式進(jìn)行驗(yàn)證。
然而,OpenAI 卻在閉幕式之前(但根據(jù) OpenAI 研究科學(xué)家 Noam Brown 的說(shuō)法是之后)就公布了結(jié)果。
IMO 評(píng)審團(tuán)和協(xié)調(diào)員的普遍看法是,OpenAI 的這種做法很無(wú)禮,也不合適。
遺憾的是,OpenAI 似乎更在乎炒作和聲量,不惜搶占參賽學(xué)生的風(fēng)頭,于是他們?cè)谧蛱炀吞崆肮剂私Y(jié)果。
來(lái)自 OpenAI 的員工在慶祝自家模型獲得了 IMO 金牌,時(shí)間和 IMO 閉幕式時(shí)間非常相近,閉幕時(shí)間在 7 月 19 日(當(dāng)?shù)貢r(shí)間)下午 4 點(diǎn)舉行。
也不知是否是因?yàn)?OpenAI 搶發(fā),機(jī)器之心也了解到,谷歌 DeepMind 與字節(jié) Seed 團(tuán)隊(duì) IMO 競(jìng)賽的結(jié)果,也將在今天或者近期公布,且分?jǐn)?shù)是官方評(píng)的。
另外,Joseph Myers 還表示,OpenAI 沒(méi)有與 IMO 合作測(cè)試他們的模型,91 名官方 IMO 協(xié)調(diào)員都沒(méi)有對(duì) OpenAI 的解決方案進(jìn)行評(píng)級(jí)。
相比來(lái)看,DeepMind 似乎很遵守規(guī)則,并耐心等待官宣時(shí)間。
一家專注于數(shù)學(xué) AI 的初創(chuàng)公司 Harmonic 公開(kāi)證實(shí)了這一點(diǎn):「為了維護(hù)學(xué)生競(jìng)賽的神圣性,IMO 董事會(huì)要求參賽的 AI 公司需要等到 7 月 28 日發(fā)布結(jié)果。」
看來(lái),OpenAI 確實(shí)是沒(méi)有遵守 IMO 要求,提前就把結(jié)果公布了。
谷歌 DeepMind 推理團(tuán)隊(duì)負(fù)責(zé)人 Thang Luong 對(duì)此事也進(jìn)行了點(diǎn)評(píng),表示道,IMO 組委會(huì)確實(shí)有一份官方評(píng)分標(biāo)準(zhǔn),但這份評(píng)分指南并未對(duì)外公開(kāi)。如果沒(méi)有依據(jù)該評(píng)分標(biāo)準(zhǔn)進(jìn)行評(píng)估,參賽組織就無(wú)法宣稱獲得獎(jiǎng)牌。如果有一分被扣,那就是銀牌,而不是金牌。
IMO 金牌得主 Jasper 觀點(diǎn)與 Thang Luong 的觀點(diǎn)相似:IMO 的競(jìng)賽題目通常包括 6 道,每個(gè)問(wèn)題 7 分。金牌的分?jǐn)?shù)線是 35 分,銀牌 28 分,銅牌 19 分。即使是扣除很少的分?jǐn)?shù),OpenAI 也可能跌落到銀牌。Jasper 認(rèn)為從 OpenAI 提交的內(nèi)容來(lái)看,他們的答案很可能會(huì)被扣掉一些分?jǐn)?shù)。
陶哲軒(Terence Tao)也指出,盡管題目保持不變,但測(cè)試形式至關(guān)重要。一名在標(biāo)準(zhǔn)條件下可能無(wú)法獲得銅牌的學(xué)生,若在修改后的賽制下甚至可能摘金。所以說(shuō),OpenAI 是否獲得金牌,現(xiàn)在還是一個(gè)問(wèn)號(hào)。
如果真像前文所說(shuō)的,OpenAI 最終獲得銀牌,這種反轉(zhuǎn)還是挺殘酷的,畢竟他們大肆宣傳自己的模型是金牌得主水平了。
OpenAI :沒(méi)有人通知我們一周后才能公布
對(duì)于此事,OpenAI 也做出了回應(yīng),OpenAI 研究科學(xué)家 Noam Brown 表示,他們是在閉幕式之后發(fā)布的結(jié)果,他個(gè)人提前聯(lián)系了一位 IMO 組織者,并根據(jù)其建議時(shí)間發(fā)布結(jié)果。同時(shí),Noam Brown 表示,沒(méi)有人告訴他們「一周之后」才能發(fā)布。
另外,Noam Brown 還表示 IMO 官方幾個(gè)月前曾聯(lián)系他們,提出在比賽結(jié)束后提供 Lean 格式(允許用戶將數(shù)學(xué)定理和證明以機(jī)器可驗(yàn)證的形式表達(dá))的題目,但 OpenAI 拒絕了。
這算不算回應(yīng)了前面的質(zhì)疑:官方要求參賽 AI 公司閉幕式后一周再公布相關(guān)結(jié)果,但我們根本沒(méi)參賽。
這一回應(yīng)引發(fā)了網(wǎng)友的激烈討論,對(duì)此你怎么看呢?
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.