始智AI wisemodel.cn開源社區

始智AI wisemodel.cn社區是源自中國的中立開放的AI開源社區。正在，歡迎加入共同成長。wisemodel社區上線，價格實惠，靈活方便，支持在線微調訓練模型，及和，并。

驅動科學研究的人工智能正逐漸改變科學研究的模式，在探索以通專融合實現通用人工智能（AGI）的進程中，通用基座大模型，尤其是具備跨模態理解能力的多模態大模型至關重要——多模態大模型的創新突破，將大幅提升模型同時處理文本、圖像、視頻等數據的能力，從而為科研創新提供基礎性支撐。

上海人工智能實驗室升級并開源了通用多模態大模型書生·萬象3.0（InternVL3）。通過采用創新的多模態預訓練和后訓練方法，InternVL3 多模態基礎能力全面提升，在專家級基準測試、多模態性能全面測試中，10億~780億參數的全量級版本在開源模型中性能均位列第一，同時大幅提升了圖形用戶界面（GUI）智能體、建筑場景圖紙理解、空間感知推理以及通識學科推理等方面的能力。模型已上線始智AI-wisemodel開源社區，歡迎體驗。

模型地址

https://wisemodel.cn/organization/Intern

01.

亮眼的多項技術成果

在人工智能技術快速發展、多模態大模型競爭激烈的背景下，技術迭代持續推動行業進步。通用多模態大模型書生·萬象3.0（InternVL3）展現多項技術成果， 交出了一份亮眼的技術答卷。

?在專家級多學科領域知識推理基準測試MMMU中再次突破開源模型極限，取得72.2分；

? 基于司南OpenCompass開源評測框架，研究團隊對InternVL3進行了全面系統的評估，包括多學科推理、文檔理解、多圖像 / 視頻理解、現實世界理解、多模態幻覺檢測、視覺定位、多語言能力以及以語言為中心的基準測試。評測結果顯示，InternVL3在開源多模態大模型中性能表現最優，創造了開源多模態大模型的性能新標桿，性能接近閉源模型Gemini-2.5-Pro；

? 創新提出原生多模態預訓練方法，將語言和多模態學習整合于同一個預訓練階段，提升及拓展多模態能力的同時，進一步提升純語言能力；

? 提出混合偏好優化算法以及多模態測試階段增強，通過負監督修正模型響應分布，大幅提升模型推理能力。

02.

創新的多模態預訓練方法

上海AI實驗室研究團隊提出了一種創新的原生多模態預訓練方法，與傳統的先優化大語言模型再添加視覺能力的方法不同，這種方法在模型的預訓練階段將文本數據與多模態數據無縫結合，讓模型能夠同時學習語言和視覺，從而能夠同時處理文本和多模態輸入。

由于在預訓練階段對文本和多模態數據給予同等的重視，模型能夠自然地獲得多模態能力，而無需依賴從獨立訓練的大語言模型中進行大量的特征對齊。此外，該訓練策略可使模型的文本能力和多模態能力同時得到提升。

由于預訓練數據的內在復雜性，確定合適的采樣策略是一項具有挑戰性的任務。為了解決這一問題，研究團隊首先分別獨立訓練多模態數據集和純語言數據集，并在各自的基準測試上評估它們的性能。

這一步驟的目的是確定每個模態內子類別中的最佳采樣比例。

在達到局部最優后，研發團隊再將兩種模態的數據結合起來，并在相同的總訓練預算下確定它們的相對采樣比例。實證結果表明，純語言數據與多模態數據的比例為 1:3 時，在語言和多模態基準測試中都能產生最佳性能。

03.

高效的多模態后訓練策略

在完成原生多模態預訓練之后，研究團隊采用了監督微調（Supervised Fine-Tuning，SFT）、混合偏好優化（Mixed Preference Optimization，MPO）、測試時間縮放（Test-Time Scaling，TTS）等后訓練方案進一步提升了模型的多模態對話和推理能力。

監督微調

在監督微調階段， InternVL3沿襲了InternVL2.5 中提出的隨機圖像壓縮、平方損失重加權和多模態數據拼接等技術。

與 InternVL2.5 相比，InternVL3 在監督微調階段使用了更高質量且更多樣化的訓練數據，研究團隊進一步擴充了工具使用、三維場景理解、圖形用戶界面操作、長上下文任務、視頻理解、科學圖表、創意寫作以及多模態推理等方面的訓練樣本。

混合偏好優化

在預訓練和監督微調階段，模型被訓練基于先前的正確單詞來預測下一個單詞。然而在推理過程中，模型是基于其自身之前的輸出來預測下一個單詞。

訓練與推理階段中單詞的真實分布和模型預測分布之間存在差異，這將引入分布偏移，進而削弱模型的長序列輸出以及思維鏈（CoT）推理能力。

為了緩解這個問題，研究團隊采用了混合偏好優化（MPO）方法，通過引入來自正樣本和負樣本的額外監督，幫助模型修剪自身分布，以使模型的預測分布和真實分布進一步對齊，從而減少分布偏移、提高模型推理性能。

多模態測試時增強

測試時增強已被證明是增強 LLMs 和 MLLM 推理能力的有效方法。在 InternVL3 中，研究團隊采用 Best-of-N 評估策略，并使用 VisualPRM-8B 作為評估模型，以選擇最佳的響應進行推理和數學評估。

04.

特色的多模態能力

同時，除了可以處理通用的多模態任務之外，InternVL3 還拓展了多方面的多模態能力，如，圖形用戶界面（GUI）智能體、建筑場景圖紙理解、空間感知推理、通識學科推理等。

GUI智能體

在GUI定位基準測試中，與最先進的通用多模態大模型和特定于 GUI的大模型進行了對比，InternVL3取得了極具競爭力的性能。可作為GUI智能體，遵循指令去操作電腦或者手機上的專業軟件。

Grouding坐標圖上展示如下：

建筑場景圖紙理解

在建筑場景圖紙理解的任務中，InternVL3可根據指令識別建筑圖紙中的門窗、樓梯等構件，并定位構件的位置，后續可進一步擴展至對建筑領域圖紙審查、統計核驗等任務。

Grouding坐標圖上展示如下：

建筑場景圖紙理解

在空間感知與推理方面，InternVL3在現有的測試集上取得了最優表現，表明其在僅依賴視覺輸入的條件下，具備較強的空間推理與理解能力。這一能力對于后續在機器人、自動駕駛等任務中的應用具有重要意義。

給模型看一個視頻并提問：

These are frames of a video.

You are a robot beginning at the doorframe and facing the tv. You want to navigate to the sofa. You will perform the following actions (Note: for each [please fill in], choose either 'turn back,' 'turn left,' or 'turn right.'): 1. Go forward until the tv 2. [please fill in] 3. Go forward until the sofa. You have reached the final destination.

A. Turn Left

B. Turn Back

C. Turn Right

Answer with the option's letter from the given choices directly.

模型很好地理解了空間方位，并做出了正確的選擇：C！

----- END -----

wisemodel相關：

系統升級：

大賽報名：

系列模型：

關于wisemodel更多

1

歡迎持續關注和支持

開源社區建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區的志愿者計劃和開源共創計劃。期待更多開發者將開源成果，包括模型、數據集和代碼等發布到 wisemodel.cn 社區，共建中立、開放的AI開源社區生態。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續關注wisemodel.cn開源社區動態。

2

歡迎加盟wisemodel開源社區

始智AI wisemodel社區自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區，為了加快公司發展，我們長期需要技術、運營等人才加盟，技術側重在AI infra、后端開發，熟悉K8S、模型訓練和推理等技術， 以及熟悉開發者生態運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優質內容

歡迎投稿分享人工智能領域相關的優秀研究成果，鼓勵高校實驗室、大企業研究團隊、個人等，在wisemodel平臺上分享各類優質內容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術實踐、應用和總結等。投稿可以發郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關于wisemodel開源社區

始智AI wisemodel.cn開源社區由清華校友總會AI大數據專委會副秘書長劉道全創立，旨在打造和建設中立開放的AI開源創新社區，將打造成“HuggingFace”之外最活躍的AI開源社區，匯聚主要AI開源模型、數據集和代碼等，歡迎高校科研院所、大型互聯網公司、創新創業企業、廣大個人開發者，以及政府部門、學會協會、聯盟、基金會等，還有投資機構、科技媒體等，共同參與建設AI開源創新生態。

向上滑動查看