智東西
作者 王涵
編輯 漠影
智東西6月6日消息,谷歌今日突襲推出Gemini 2.5 pro的重磅更新版本Gemini 2.5 Pro Preview 06-05 Thinking,該版本在推理能力、科學(xué)以及編程能力測試中超越OpenAI o3、DeepSeek R1和Claude Opus 4,其中編程能力更是領(lǐng)跑Aider Polyglot等高難度編程基準測試。
價格方面,06-05版本沿用了先前版本的價格策略,即每百萬token輸入(無緩存)1.25美元(約合人民幣9元),輸出10美元(約合人民幣72元)。
谷歌CEO桑達爾·皮查伊(Sundar Pichai)在海外社交媒體X上親自官宣:“我們最新的Gemini 2.5 Pro更新現(xiàn)已發(fā)布預(yù)覽版……我們聽取了您的反饋,并對回答的風(fēng)格和結(jié)構(gòu)進行了改進。您可以在Al Studio、Vertex Al平臺和Gemini app中進行試用。正式版即將推出!”
一、性能全面屠榜,Gemini以1443分登頂WebDevArena榜單
在5月年度I/O開發(fā)者大會上,谷歌宣布已對Gemini 2.5 Pro進行靜默升級。谷歌DeepMind首席執(zhí)行官戴米斯·哈薩比斯(Demis Hassabis)當(dāng)時評價I/O版本是公司迄今最佳編程模型。
而此次名為“Gemini 2.5 Pro Preview 06-05 Thinking”的新預(yù)覽版在05-06版本之上進行的更新,測試表現(xiàn)更優(yōu),谷歌在博客中評價該版本為“我們迄今為止最有智慧的模型”。谷歌還透露說,新版本“具備企業(yè)級應(yīng)用成熟度”,將于兩周后作為穩(wěn)定版面世。
Gemini 2.5 Pro Preview 06-05 Thinking在基準測試中全面屠榜,文本、視覺、網(wǎng)頁開發(fā)、編程、數(shù)學(xué)、創(chuàng)意、多輪對話、指令跟隨及長查詢類別等能力上均拔得頭籌。
▲綜合榜單(來源:LMArena)
有網(wǎng)友在用Emoji表情標出了06-05版本的表現(xiàn)對比,可以看出其在測試數(shù)學(xué)能力的AIME 2025、測試代碼生成的LiveCodeBench上并未超過o3和o4-mini,視覺推理的MMMU榜單上也未超過o3,仍有進步空間。
且在價格上,06-05版本與榜單中的其他模型相比較為實惠,但仍遠高于DeepSeek R1。
從細分榜單來看,LMArena文本基準測試中,06-05版本的Elo分數(shù)較05-06版提升24分,以1470分保持榜首。WebDevArena測試中,其Elo分數(shù)以1443分領(lǐng)先,較此前提升了35分。06-05版本也領(lǐng)跑Aider Polyglot等高難度編程基準測試,超越DeepSeek R1等一眾大模型。
▲WebDevArena榜單(來源:LMArena)
在HLE(Humanity’s Last Exam,人類終極測試)中,06-05版本的成績?yōu)?1.6%,幾乎是Claude 4 Opus的2倍,GPQA測試的成績也同樣占據(jù)榜首。這兩個測試是評估數(shù)學(xué)、科學(xué)、知識及推理能力的超高難度測試,06-05版本的亮眼成績足以說明它的實力。
▲HLE榜單(來源:Humanity’s Last Exam官網(wǎng))
即刻起,開發(fā)者們可以從谷歌AI Studio和Vertex AI平臺接入Gemini API體驗最新版本,谷歌還在這兩個平臺上新增了“思考預(yù)算”功能,優(yōu)化成本與延遲控制。同時,新版本也將在Gemini應(yīng)用上逐步推出。
二、Gemini新版被玩出花了
06-05版本一經(jīng)推出就有許多開發(fā)者和用戶進行體驗嘗鮮。
首先是圖像生成方面,皮查伊自己用Gemini生成了一張獅子的特寫照片,圖片十分生動:
卡通動畫風(fēng)也是不在話下:
編程方面:Android studio提示Gemini 2.5 Pro Preview 06-05 Thinking創(chuàng)建一個用戶個人資料圖片,要求包含:Android Jetpack Compose 代碼,能夠生成類似該用戶個人資料圖片的代碼以及導(dǎo)入語句、Material3和代碼文檔,結(jié)果十分驚艷:
有網(wǎng)友要求06-05版本編寫一個Python程序,模擬隨機車流量單行道上的交通信號燈運作過程:
還有網(wǎng)友要求06-05版本編寫一個“3D球體”代碼來展示它的能力,結(jié)果它僅憑一句指令就生成了這個交互式粒子系統(tǒng),讓網(wǎng)友直呼“這不可能是真的!”
結(jié)語:大模型進入快迭代時代
此前,DeepSeek和OpenAI的推理模型曾主導(dǎo)行業(yè)關(guān)注焦點,智東西不久之前曾報道DeepSeek-R1-0528開源,其性能接近OpenAI在4月中旬發(fā)布的o4 mini和o3模型高版本。谷歌此番更新更是迎頭趕上,全面屠榜,基準測試結(jié)果超越DeepSeek R1和OpenAI的o3、o3-mini和o4-mini。
Gemini 2.5 Pro初代版本于3月發(fā)布時,Venture Beat的馬特·馬歇爾(Matt Marshall)就稱其為“最被低估的智能模型”。這一評價很快得到驗證,憑借2.5 Pro及其兩個升級版本的快速迭代,谷歌不僅大幅提升了模型的多模態(tài)理解、長文本推理和代碼生成能力,更在大語言模型性能基準測試中多次超越競品。
如今大模型的迭代周期越來越短,基準測試榜單的頭把交椅也時常易主。AI較量的白熱化提醒我們,大模型從一開始的大爆發(fā)時代已經(jīng)進入快迭代時代。
來源:谷歌Blog、X、LMArena、Humanity’s Last Exam以及Venture Beat
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.