General-Level團隊 投稿
量子位 | 公眾號 QbitAI

多模態(tài)大模型（Multimodal Large Language Models, MLLM）正迅速崛起，從只能理解單一模態(tài)，到如今可以同時理解和生成圖像、文本、音頻甚至視頻等多種模態(tài)。

在“如何全面客觀地評測多模態(tài)大模型”這一問題的回答上，過去常用的多模態(tài)大模型評測方法是堆砌多個任務(wù)的成績。但簡單以“更多任務(wù)上更高分”衡量模型強弱并不可靠，模型在某些任務(wù)上表現(xiàn)突出也并不一定意味著它在所有領(lǐng)域都更接近人類智能水平。

正因如此，在AI競賽進入“下半場”之際（由最近的OpenAI研究員姚順雨所引發(fā)的共識觀點），設(shè)計科學的評估機制儼然成為決定勝負的核心關(guān)鍵。

近期錄用于ICML’25 (Spotlight)的論文《On Path to Multimodal Generalist: General-Level and General-Bench》提出了一套全新的評測框架General-Level和配套的數(shù)據(jù)集General-Bench，為這一議題帶來了奠基性的解答和突破。

該評測框架已落地于社區(qū)：上述論文的項目團隊構(gòu)建了涵蓋700多個任務(wù)、覆蓋5大常見模態(tài)、29個領(lǐng)域、多達32萬+測試數(shù)據(jù)的超大規(guī)模評測基準和業(yè)界最完善的多模態(tài)通才模型排行榜Leaderboard，為公平、公正、全面地比較不同多模態(tài)通才大模型提供了基礎(chǔ)設(shè)施。

General-Level評估算法：五級段位體系與協(xié)同效應(yīng)

General-Level評測框架引入了一個五級段位體系，類似“段位晉級”的方式來衡量多模態(tài)模型的通才能力。

General-Level評估的核心在于協(xié)同泛化效應(yīng)（Synergy），指的是模型將從一種模態(tài)或任務(wù)中學到的知識遷移提升到另一種模態(tài)或任務(wù)中的能力，簡單來說就是1+1 > 2的效果。

模型的段位由低到高依次為：Level-1專業(yè)高手，Level-2通才新秀（無協(xié)同），Level-3任務(wù)協(xié)同，Level-4范式協(xié)同，Level-5全模態(tài)完全協(xié)同。段位越高表示模型展現(xiàn)出的“通用智能”越強，達到的協(xié)同效應(yīng)層級越高。

General-Level正是通過考察不同層面的協(xié)同效應(yīng)，來決定模型所屬的段位的：

• Level-1 專家型選手（Specialist）
• 這一級別包括了當前各單項任務(wù)的專精模型，通常是針對某個數(shù)據(jù)集或任務(wù)單獨微調(diào)到極致的SOTA模型。
• Level-2 入門通才（Generalist，無協(xié)同）
• 達到Level-2意味著模型開始具備“一專多能”的能力，能支持多種模態(tài)和任務(wù)，但尚未體現(xiàn)出協(xié)同增益效應(yīng)。
• Level-3 任務(wù)級協(xié)同（Task-level Synergy）
• 晉升Level-3要求模型出現(xiàn)任務(wù)層面的協(xié)同提升。這意味著模型通過多任務(wù)聯(lián)合學習，在某些任務(wù)上的成績超越了該任務(wù)的專精模型SOTA。
• Level-4 范式級協(xié)同（Paradigm-level Synergy）
• 要邁入Level-4，模型必須展現(xiàn)跨范式的協(xié)同，也就是在“理解與生成”這兩大任務(wù)范式之間形成協(xié)同效應(yīng)。本段位代表模型已開始具備“生成-理解一體化”的推理能力，能夠跨越任務(wù)形式的差異進行知識遷移。
• Level-5 全模態(tài)完全協(xié)同（Cross-modal Total Synergy）
• 這是General-Level評估的最高段位，標志著模型在跨模態(tài)、跨任務(wù)范疇達成了全面協(xié)同，也是理想的AGI狀態(tài)。

然而截至目前，尚無任何模型達到Level-5段位。

Level-5代表著通往AGI的終極目標，一旦有模型邁入此段位，也許就預(yù)示著通才AI朝“通用人工智能”跨出了關(guān)鍵一步。

總的來說，General-Level通過這五級段位體系，將評估視角從單純堆疊任務(wù)分數(shù)，提升到了考察模型內(nèi)部知識的遷移融合能力。

這種段位制在保障客觀量化的同時，也為業(yè)界描繪出一條從專才到通才再到“全才”的進階路線圖。

General-Bench評測基準：一張多模態(tài)通才的超級考卷

General-Bench被譽為當前規(guī)模最大、范疇最廣、任務(wù)類型最全面的多模態(tài)通才AI評測基準。

它不僅是一張考察多模態(tài)AI能力的“通才高考卷”，更是一個集廣度、深度、復(fù)雜性于一體的全景式評測系統(tǒng)。

在廣度上，General-Bench覆蓋了五大核心模態(tài)——圖像、視頻、音頻、3D以及語言，真正實現(xiàn)了從感知到理解，再到生成的全鏈路模態(tài)覆蓋。

在深度維度，General-Bench不僅涵蓋了大量傳統(tǒng)理解類任務(wù)（如分類、檢測、問答等），更納入了豐富的生成類任務(wù)（如圖像生成、視頻生成、音頻生成、描述生成等）。

更值得注意的是，所有任務(wù)均支持Free-form自由作答，不局限于選擇題或判斷題，而是依據(jù)任務(wù)原生的開放指標進行客觀評估，填補了業(yè)界長期以來的評測盲區(qū)。

從數(shù)據(jù)規(guī)模來看，General-Bench匯集了700余個任務(wù)、325,000+個樣本，并細分為145項具體技能，全面覆蓋視覺、聽覺、語言等模態(tài)下的核心能力點。

在這些技能背后，General-Bench跨越了29個跨學科知識領(lǐng)域，囊括自然科學、工程、醫(yī)療、社會科學、人文學科等，從圖像識別到跨模態(tài)推理、從語音識別到音樂生成、從3D模型到視頻理解與生成，應(yīng)有盡有。

此外，General-Bench還特別關(guān)注模型在內(nèi)容識別、常識推理、因果判斷、情感分析、創(chuàng)造與創(chuàng)新等高階能力上的表現(xiàn)，為通才AI模型提供了一個多維度、立體化的評測空間。

可以說，General-Bench是一張?zhí)魬?zhàn)性前所未有的多模態(tài)綜合考卷，從模態(tài)維度到任務(wù)范式，再到知識領(lǐng)域，全方位檢驗AI模型的廣度、深度與綜合推理能力。

目前，General-Bench的任務(wù)樣本總量已達到325,876，并將保持開放動態(tài)增長。這一開放性與可持續(xù)更新，確保了General-Bench具備長期生命力，能夠持續(xù)支撐多模態(tài)通才AI的研發(fā)與演進。

多Scope Leaderboard設(shè)計：全模態(tài)通才到子技能通才

有了General-Level評估標準以及數(shù)據(jù)集，還需要一個公開透明的排行榜來呈現(xiàn)各模型的評測結(jié)果和排位。這正是項目的Leaderboard系統(tǒng)。

為了兼顧評測全面性與參與門檻之間的平衡，Leaderboard設(shè)計了多層次的榜單Scope分層解耦機制（Scope-A/B/C/D）。

不同Scope相當于不同范圍和難度的子排行榜，允許能力各異的模型各展所長，從“全能冠軍賽”一路覆蓋到“單項能力賽”， 既保證了頂尖通才模型有舞臺角逐全能桂冠，也讓普通模型能選擇合適范圍參與比較，降低了社區(qū)參與的門檻。

Scope-A: 全譜英雄榜：“全模態(tài)通才”爭霸。

這是難度最高、覆蓋面最廣的主榜單：參賽模型必須接受General-Bench全集的考驗，也就是涵蓋所有支持的模態(tài)、所有范疇任務(wù)的完整評估。

Scope-A旨在選拔真正全能型的多模態(tài)基礎(chǔ)模型，檢驗它們在全面復(fù)雜場景下的綜合實力。

Scope-B: 模態(tài)統(tǒng)一英雄榜：“單一模態(tài)通才”競技。

Scope-B包括若干子榜單，每個針對特定模態(tài)或限定的模態(tài)組合。

具體而言，Scope-B劃分出7個并行榜單：其中4個是單一模態(tài)榜（如純視覺、純語音、純視頻、純3D），另外3個是模態(tài)組合榜（例如圖像+文本、視頻+文本等跨模態(tài)組合）。

參賽模型只需在所選模態(tài)范圍內(nèi)完成多任務(wù)評測，不涉及其它模態(tài)的數(shù)據(jù)。

Scope-C: 理解/生成英雄榜：“范式能力”分組競技。

Scope-C將評測進一步細分為理解類任務(wù)和生成類任務(wù)兩大范式，在每種模態(tài)下分別設(shè)榜。具體來說，在圖像、視頻、音頻、文本這幾類模態(tài)中，各自分出“理解能力榜”和“生成能力榜”兩個榜單，共計8個榜單。

Scope-C評測強調(diào)同一模態(tài)內(nèi)跨任務(wù)范式的遷移能力：比如一個模型在視覺理解榜表現(xiàn)優(yōu)異，說明它在視覺分類、檢測等多種理解任務(wù)間具備共享知識的能力；在視覺生成榜得分高則意味著它在各種生成任務(wù)（描述、畫圖）上都有通用能力。

由于限制了任務(wù)范式的范圍，Scope-C對資源要求較低（三星難度），非常適合輕量級模型或資源有限的團隊參與。

Scope-D: 技能專長榜：“細分技能”擂臺。

這是粒度最細、參與門檻最低的一類榜單。Scope-D將General-Bench中的任務(wù)按具體技能或任務(wù)類型進一步聚類，每個小類單獨成榜。

例如：“視覺問答（VQA）榜”“圖像字幕生成榜”“語音識別榜”“3D物體檢測榜”等等，每個榜單涵蓋一組密切相關(guān)的任務(wù)。

參賽模型可以只針對某一類技能提交結(jié)果，從而在自己最擅長的狹窄領(lǐng)域與其它模型比較。

這種技能榜機制鼓勵模型循序漸進地發(fā)展：先在單點技能上做到極致，再逐步挑戰(zhàn)更廣泛的多任務(wù)、多模態(tài)評測。

Leaderboard鏈接可見文末。

Leaderboard參賽指南：提交流程與公平評測機制

為了促進社區(qū)參與，General-Level項目提供了清晰的Leaderboard參賽流程和嚴格的公平性保障機制。

無論是學術(shù)研究團隊還是工業(yè)實驗室，都可以按照以下步驟將自己研發(fā)的多模態(tài)模型提交到Leaderboard打榜：

1.選擇榜單與下載評測數(shù)據(jù)

首先根據(jù)模型能力，選擇適當?shù)腖eaderboard范圍（Scope）和具體榜單ID。

選定榜單后，從官方提供的鏈接下載該榜單對應(yīng)的封閉測試集（Close-set data）。

這是一份只包含輸入的測試數(shù)據(jù)，不公開標準答案，用于正式評測。

官方同時提供了開放開發(fā)集（Open-set data）用于調(diào)試開發(fā)，在打榜前可用于本地測試模型輸出格式等。

2.本地運行模型推理

拿到封閉測試集后，在本地用模型對其進行推理Inference，生成對應(yīng)的輸出結(jié)果。

需要注意的是，每個榜單可能包含多種任務(wù)類型，提交的結(jié)果文件應(yīng)嚴格遵循官方規(guī)定的格式和目錄結(jié)構(gòu)。提交前請務(wù)必參考官方的詳細提交文檔確認格式要求。

一旦輸出結(jié)果整理完成，將其命名為“[模型名稱]-[榜單ID].zip”以備上傳。

3.提交結(jié)果并填寫信息

在Leaderboard網(wǎng)站的提交入口，上傳上述結(jié)果ZIP文件。同時需要填寫一些必要的模型信息（如模型名稱、參數(shù)規(guī)模、簡介等）以及聯(lián)系郵箱等，以便主辦方后臺正確處理結(jié)果。

如果想讓自己的模型得到更多曝光，團隊也可以選擇在結(jié)果提交后公開模型的詳細說明或技術(shù)報告，方便社區(qū)了解模型亮點。

4.等待評測與查看榜單

提交結(jié)果后，系統(tǒng)會在后臺對模型輸出進行評分，包括計算各任務(wù)指標并匯總成General-Level段位分數(shù)。

由于封閉測試集的答案和評分腳本在后臺保密運行，提交者無法直接得知未公布數(shù)據(jù)的答案，從而保證了評測的公正性。

評測完成后，Leaderboard頁面將實時更新：新模型會出現(xiàn)在對應(yīng)榜單上，展示模型名稱、所屬模態(tài)范疇、各模態(tài)下的得分以及總分、段位等級和提交日期等信息。這樣，提交者和公眾都能立即在排行榜上看到模型的名次和段位。

排行榜支持按段位或分數(shù)排序，清晰標識哪些模型達到了Level-3、Level-4等協(xié)同級別。

為了確保Leaderboard評測的公平性和權(quán)威性，項目方還制定了一系列規(guī)則和限制：

封閉測試：所有排行榜使用的數(shù)據(jù)集均為封閉集，模型不得使用這些測試數(shù)據(jù)進行訓練或調(diào)優(yōu)，這一點通過協(xié)議約束和數(shù)據(jù)監(jiān)控等方式嚴格執(zhí)行。

同時，由于是封閉評測，模型開發(fā)者在提交結(jié)果前也無法得知正確答案，從根本上保證了成績的可信度。

限頻提交：每個用戶24小時內(nèi)最多提交2次，7天內(nèi)最多提交4次結(jié)果，并且在前一次提交的評測尚未完成時，不允許發(fā)起新的提交。

這些措施有效杜絕了利用提交機會反推標準答案或?qū)Ψ忾]集過擬合的可能，避免了有人反復(fù)試錯投機，維護了排行榜的嚴肅性。

統(tǒng)一評測環(huán)境：所有模型提交均在主辦方統(tǒng)一的評測環(huán)境中執(zhí)行評分，確保不同模型的比較在相同標準下進行。

無論模型使用何種框架或推理加速，最終成績都以相同的指標體系衡量，并根據(jù)General-Level算法轉(zhuǎn)換成段位分數(shù)，從而可直接橫向?qū)Ρ取?/p>

通過以上流程與機制，General-Level Leaderboard為研究者提供了一個開放且公平的競技場。

在這里，新的模型算法可以得到客觀檢驗，與業(yè)界現(xiàn)有的方法同臺比拼；同時封閉評測也保障了結(jié)果的可信度，使排行榜成為公認權(quán)威的數(shù)據(jù)點。

排行榜現(xiàn)狀：代表模型段位分布與社區(qū)反饋

截至目前，排行榜收錄了100多個多模態(tài)模型的成績，并根據(jù)General-Level標準揭示了它們在通才能力上的座次高低。

在首批發(fā)布的閉集評測榜單中，各模型整體表現(xiàn)差異懸殊，甚至顛覆大家對常見的多模態(tài)大模型的能力排位的認知。

縱觀排行榜，不同段位檔次已經(jīng)初現(xiàn)梯隊分布。

Level-2（無協(xié)同）

排行榜中占比最多的就是Level-2段位模型，其中包括GPT4-V等重量級閉源模型，其他大量的常用的開源模型也位列其中。

這些模型勝在支持任務(wù)范圍廣，幾乎囊括所有測評任務(wù)，但極少在任何任務(wù)上超越單項SOTA。因此它們被General-Level評為Level-2通才，只能算是“全科及格”的水平。

值得注意的是，GPT4-V等雖是商業(yè)頂尖模型，但由于沒有針對評測任務(wù)進行專項優(yōu)化，未能體現(xiàn)協(xié)同增益，評分并不出挑。

相反，一些開源模型通過多任務(wù)訓練，全面開花，也躋身Level-2行列，如SEED-LLaMA、Unified-IO等。這一層級模型主要的能力分布在圖片模態(tài)上，且單模態(tài)的平均得分帶大致在10-20分左右，表現(xiàn)尚有巨大提升空間。

當前Level-2的冠亞季軍分別為：Unified-io-2-XXL，AnyGPT以及NExT-GPT-V1.5。

Level-3（任務(wù)協(xié)同）

這一級別所匯聚的多模態(tài)大模型相比于Level-2少了很多，它們在若干任務(wù)上擊敗了專業(yè)模型，展現(xiàn)出協(xié)同學習帶來的性能飛躍。

許多2024年后的新模型紛紛晉升此列，包括開源的Sa2VA-26B、LLaVA-One-Vision-72B、Qwen2-VL-72B系列。這些模型通常具有數(shù)百億參數(shù)且經(jīng)過海量多模態(tài)、多任務(wù)訓練，因而在部分Benchmark上超越了傳統(tǒng)單任務(wù)SOTA的成績。

這證明了協(xié)同效應(yīng)的價值：統(tǒng)一的多任務(wù)訓練可以讓模型學到更通用的表征，在相關(guān)任務(wù)上互相促進性能。

反而，一些閉源大模型如OpenAI的GPT4-o、GPT4-V和Anthropic的Claude-3.5等在Level-3上表現(xiàn)不夠靠前。

Level-3模型的整體平均分范圍相比Level-2繼續(xù)降低，這表示本Level更加困難的得分情況。

Level-4（范式協(xié)同）

達到此段位的模型目前仍屬鳳毛麟角。

據(jù)Leaderboard顯示（截止評測日期24年12月），僅有極個別模型被評為Level-4，如體量巨大的Mini-Gemini、Vitron-V1、Emu2-37B等原型開源模型。

這些模型在跨范式推理上有所突破，兼具卓越的理解與生成能力，并能將兩者融會貫通。

例如Mini-Gemini模型在圖像理解和生成兩方面均取得領(lǐng)先，其在Leaderboard的范式協(xié)同評分上名列前茅。

Level-4段位的出現(xiàn)，意味著離真正的跨模態(tài)推理AI又近了一步。不過當前Level-4模型的平均分非常低。這揭示了構(gòu)建范式全面協(xié)同AI的巨大挑戰(zhàn)：要兼顧多模態(tài)的理解與生成并取得雙重突破，非常不易。

Level-5（全模態(tài)總協(xié)同）

這一段位至今依然是空缺狀態(tài)，沒有任何模型能夠達成。

這并不意外，因為要在所有模態(tài)和任務(wù)上都超越專家并同時提升語言智能，目前來看超過了現(xiàn)有技術(shù)的能力范圍。

General-Level團隊推測，也許下一個里程碑將來自“多模態(tài)版”的GPT-5，它們有可能首次展現(xiàn)全模態(tài)協(xié)同的苗頭，從而改寫Level-5無人問津的局面。

不過在那一天到來之前，Leaderboard上Level-5位置還將繼續(xù)空懸，也提醒著我們距離真正的AGI依然有不小的距離。

當前Leaderboard的推出在AI研究社區(qū)引發(fā)了熱烈反響。許多研究者認為，這樣一個統(tǒng)一的、多維度的評測平臺正是多模態(tài)領(lǐng)域所急需的：它不僅規(guī)模空前（覆蓋700+任務(wù)）、體系完整（有等級有分項），而且公開透明，為業(yè)界提供了共同進步的參照。

在社交媒體和論壇上，大家對排行榜上的結(jié)果展開討論：有人驚訝于開源模型Qwen2.5-VL-72B竟能擊敗許多閉源巨頭，證明開源社區(qū)的潛力；也有人分析GPT-4V在復(fù)雜視聽任務(wù)上的短板，探討如何彌補。

Leaderboard的數(shù)據(jù)還被用來指導(dǎo)研究方向：哪些任務(wù)是多數(shù)模型的薄弱項，哪些模態(tài)結(jié)合尚未被很好解決，一目了然。

可以預(yù)見，隨著更多模型加入打榜，排行榜將持續(xù)更新，這不僅是一場競賽，更是在不斷積累寶貴的科研洞見。

General-Level評測框架與其Leaderboard排行榜的推出，標志著多模態(tài)通才AI研究進入了一個新階段。正如作者在論文中所期望的那樣，該項目構(gòu)建的評估體系將成為堅實的基礎(chǔ)設(shè)施，幫助業(yè)界更科學地度量通用人工智能的進展。

通過統(tǒng)一標準的段位評測，研究者可以客觀比較不同模型的優(yōu)劣，找出進一步提升的方向；通過大規(guī)模多任務(wù)的Benchmark，可以全面考察模型在不同領(lǐng)域的能力短板，加速發(fā)現(xiàn)問題并迭代改進。這一切對于推動下一個世代的多模態(tài)基礎(chǔ)模型、乃至朝真正的AGI邁進，都具有重要意義。

更可貴的是，General-Level項目秉持開放共享的態(tài)度，歡迎社區(qū)廣泛參與共建。無論您是有新模型方案，還是手頭有獨特的數(shù)據(jù)集，都可以參與進來：提交模型結(jié)果上榜，與全球頂尖模型一決高下；或貢獻新的評測數(shù)據(jù)，豐富General-Bench的任務(wù)多樣性。

每一份數(shù)據(jù)集的加入，都會在官網(wǎng)主頁獲得鳴謝并在技術(shù)報告中被引用。

項目主頁：https://generalist.top/
Leaderboard：https://generalist.top/leaderboard
論文地址：https://arxiv.org/abs/2505.04620
Benchmark：https://huggingface.co/General-Level