昨天,我不是發(fā)了幾個(gè)大模型參加數(shù)學(xué)高考的測(cè)試文章嘛。
沒想到熱度挺高,大家還挺關(guān)注的。
不過,很多評(píng)論區(qū)的小伙伴也說,根本看不出來區(qū)別。
因?yàn)槿绷藢?duì)AI難度最高的單選第6題,還有后面那些解答題。
那我想,不如再把模型補(bǔ)上,加上全缺失的智譜Z1、Kimi1.5、文心X1,(不帶Claude 4,封號(hào)斗羅,我恨他),再做一個(gè),完整的滿血版的數(shù)學(xué)高考,讓大家最直觀的,感受一下這些模型的數(shù)學(xué)能力水平。
讓大家看看,滿分150分,每個(gè)模型到底多少分,哪個(gè)模型能拿高考數(shù)學(xué)狀元。
因?yàn)橐鼋獯痤}了,和選則填空不太一樣,所以我還是單獨(dú)定了一下規(guī)則,規(guī)則如下:
1. 數(shù)學(xué)大題往往都有兩到三個(gè)小問,但是每個(gè)小問具體的賦分都不太一樣,邀請(qǐng)了朋友(高中老師)來估摸一下每個(gè)小問的分?jǐn)?shù),如下,都取后者:
2. 高考大題往往會(huì)按照步驟給分,但是主要我也看不懂步驟(勿噴),所以這里我們不妨對(duì)大模型嚴(yán)格一點(diǎn),按照結(jié)果是否正確來給分。
3. 每道題任然使用大模型跑3次,根據(jù)正確比例給分。
4. 依然所有的文本題,都使用LaTeX編輯器轉(zhuǎn)成LaTeX文本格式,再扔給大模型進(jìn)行回答。
5. 帶圖片的多模態(tài)題也加入測(cè)試,直接截圖進(jìn)行作答,沒有多模態(tài)或者推理時(shí)不能傳圖的模型,取其他所有多模態(tài)模型得分的平均分。
以上。
在幾個(gè)朋友@東毅、@倒放、@云舒、@絳燁幫我kuku跑了好久之后,我們終于得出了結(jié)論。
這的,又一次干到了凌晨4點(diǎn)。
不過,最終的得分和結(jié)論,非常出人意料,也出乎我的意外。
先看對(duì)錯(cuò)。
對(duì)的全部都是?,錯(cuò)的就是?,如果是有部分對(duì),就是??,沒有多模態(tài)的,就寫沒有多模態(tài)。
我說實(shí)話,這一片的綠,還是有點(diǎn)超出我的預(yù)期的,我本來以為,解答題會(huì)難住一堆大模型,沒想到,幾乎大部分都是對(duì)的,而單選題第6題,反而成了,所有大模型的噩夢(mèng)。
涉及到圖片的理解,對(duì)于廣大高考學(xué)生,輕輕松松做一條輔助線就可以解決,但是所有的多模態(tài)大模型,幾乎全軍覆沒,也就openai o3 在三次回答中,對(duì)了兩次。
DeepSeek-R1-0528的表現(xiàn)不如其他的推理模型可能是因?yàn)樗耐评硭季S鏈很長(zhǎng)很長(zhǎng),而高考題并沒有那么復(fù)雜,所以導(dǎo)致,想著想著,就想歪了。。。
真的發(fā)現(xiàn),有時(shí)候想的短一點(diǎn),正確性可能會(huì)更高。
所有的答案,都在這了,我們是結(jié)結(jié)實(shí)實(shí)的,把每個(gè)大模型、每道題,跑了3次。。。
下次一定要抽空做個(gè)腳本,這事用人干是真的頂不住= =
那最后,終于,要公布我們的測(cè)試最終得分了。。。
這個(gè)排名,真的讓我有點(diǎn)意外。。。
這里我插一句,我對(duì)天發(fā)誓,這篇文章不是廣告,我也和科大訊飛還有豆包沒有任何利益關(guān)系,在測(cè)試過程中也沒有任何弄虛作假或者不遵守規(guī)則。
但是實(shí)實(shí)在在的,就是這么發(fā)生了。
在我的測(cè)試中,訊飛星火和豆包除了第6題錯(cuò),以其他題目全勝的姿態(tài),145分的超高分,并列奪得了第一名。
而Qwen3,解答題全對(duì),但是在填空題時(shí),因?yàn)閞oll錯(cuò)了1次對(duì)了2次,產(chǎn)生了失誤,丟了寶貴的1.7分,以143.3分,屈居第三。
Gemini2.5 pro,解答題拉了跨,139.7分,位列第四。
混元T1和文心x1,解答題失誤稍微多了一些,比Gemini 2.5 pro多錯(cuò)了一點(diǎn)點(diǎn),差了2.7分,并列屈居第五。
很有意思,太有意思了。
我其實(shí)很久沒就沒有測(cè)試測(cè)的這么開心過了。
2023年,我第一次測(cè)AI高考數(shù)學(xué)題的時(shí)候,那時(shí)候大家只有嘲諷。
強(qiáng)如大模型,不識(shí)一二三四五。
短短兩年,對(duì)于高考來說,幾乎都能輕松達(dá)到一個(gè)優(yōu)秀學(xué)生的地步。
AI啊,進(jìn)化還是太快了一點(diǎn)。
也許這就是我愛這份工作的原因吧。
它總能帶給我一些未知,一些驚喜,還有一年抵十年的回憶。
所以,這場(chǎng)AI高考,就到這里畫上句號(hào)吧。
天邊泛起肚白。
新的一天。
又到來了。
>/ 作者:卡茲克、悟空、dongyi
>/ 投稿或爆料,請(qǐng)聯(lián)系郵箱:wzglyay@virxact.com
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.