MMSearch-R1團隊投稿
量子位 | 公眾號 QbitAI

多模態模型學會“按需搜索”！

字節&NTU最新研究，優化多模態模型搜索策略

通過搭建網絡搜索工具、構建多模態搜索數據集以及涉及簡單有效的獎勵機制，首次嘗試基于端到端強化學習的多模態模型自主搜索訓練

經過訓練的模型能夠自主判斷搜索時機、搜索內容并處理搜索結果，在真實互聯網環境中執行多輪按需搜索。

實驗結果表明，在知識密集型視覺問答任務（Visual Question Answering, VQA）中，MMSearch-R1系統展現出顯著優勢：

其性能不僅超越同規模模型在傳統檢索增強生成（RAG）工作流下的性能，更在減少約30%搜索次數的前提下，達到了更大規模規模模型做傳統RAG的性能水平。

下文將詳細解析該研究的研究方法以及實驗發現。

具體怎么做到的？

近年來，隨著視覺-語言訓練數據集在規模和質量上的雙重提升，多模態大模型（Large Multimodal Models, LMMs）在跨模態理解任務中展現出卓越的性能，其文本與視覺知識的對齊能力顯著增強。

然而，現實世界的信息具有高度動態性和復雜性，單純依靠擴大訓練數據規模的知識獲取方式存在固有局限：難以覆蓋長尾分布的知識、無法獲取模型訓練截止日期后的新信息，以及難以觸及私域信息資源。

這些局限性導致模型在實際應用中容易產生幻覺現象，嚴重制約了其在廣泛現實場景下部署的可靠性。

在此背景下，網絡搜索作為人類獲取新知識的核心途徑，被視為擴展模型能力邊界的重要工具，正受到學術界的高度重視。

如何使多模態模型具備自主、精準的外部信息獲取能力，從而實現準確的問題解答，成為當前研究的關鍵挑戰。

因此，ByteDance與南洋理工大學（NTU）S-Lab聯合開展的MMSearch-R1項目針對這一挑戰進行了探索。

下面詳細來看該研究的研究方法。

集成多輪搜索的強化學習訓練

1、多模態搜索工具

MMSearch-R1集成圖像搜索和文本搜索兩種工具，以滿足模型應對視覺問答任務的需求，其中圖像搜索工具基于Google Lens，支持搜索與用戶圖像視覺外觀匹配的網頁標題以及主要縮略圖，用于幫助模型準確識別重要的視覺元素。

文本搜索工具由Google Search，JINA Reader以及用于網頁內容總結的語言模型構成的鏈路組成，支持搜索與模型生成的搜索內容最相關的網頁及其內容摘要，用于幫助模型精確定位所需文本知識與信息。

2、多輪搜索強化學習訓練

MMSearch-R1采用GRPO作為強化學習算法進行模型訓練，基于veRL框架實現集成多輪對話與搜索的Rollout過程，在每輪對話中，模型首先進行思考，并執行可選的動作，如調用多模態搜索工具與真實互聯網進行交互，或給出最終的答案。

3、帶有搜索懲罰的獎勵函數

MMSearch-R1的獎勵函數由準確性得分和格式得分兩部分以加權求和的形式構成，其權重分別為0.9和0.1，分別衡量模型是否準確回答了用戶問題（模型所給答案與真實答案作字符串精確匹配）以及遵循了既定回復格式。

為了激勵模型優先利用自身知識完成作答，還會對調用搜索工具才獲得正確答案的回復進行懲罰（搜索懲罰因子為0.1），最終獎勵函數為:

構建搜索需求均衡的多模態圖像問答數據集

為了有效訓練模型實現智能化的按需搜索能力，研究精心構建了FactualVQA（FVQA）數據集，包含訓練集和測試集。該數據集的構建采用了一套精心設計的半自動化流程，重點聚焦于需要豐富視覺與文本知識支持的問答場景。

1、數據采集

團隊首先基于MetaCLIP的元數據分布進行多層次采樣，確保覆蓋從高頻到長尾的多樣化視覺概念（Visual Concept），并從互聯網中搜索與視覺概念最相關的圖片，基于GPT-4o生成事實性問答對。

為增強數據集的文本知識維度，團隊還從InfoSeek訓練集中篩選了具有代表性的問答樣本進行補充。為確保數據質量貼近真實應用場景，FVQA還補充了800個由標注人員標注問答對樣本。

2、數據均衡

完成初步數據采集后，通過一個粗訓練的模型對現有樣本進行分類，檢查每條數據的搜索必要性，最終訓練數據集包含約3400個需要搜索的樣本和1600個無需搜索的樣本。

實驗效果如何？

MMSearch-R1-7B基于Qwen2.5-VL-7B模型進行訓練。

在FVQA-test、InfoSeek等知識密集型VQA任務中，MMSearch-R1-7B的平均準確率比同等規模模型的傳統RAG基線高出約3%搜索比率降低了32.9%，同時能夠媲美32B模型RAG基線的效果。

經過強化學習訓練，模型提升了優化搜索內容以及處理搜索結果的能力（下圖左，經過強化學習的模型執行RAG Workflow性能要好于原始模型），同時增強了挖掘利用自身固有知識的能力（下圖右，模型提升了不搜索即可回答正確的比率）。

強化學習展現出比監督微調更大的潛力，在所有任務上以較少的訓練樣本取得更大的性能增益（下圖左）。

同時證明數據搜索比例均衡以及獎勵函數中的搜索懲罰機制有助于在訓練過程中塑造模型的按需搜索行為（下圖右）。

最后總結來說，MMSearch-R1是一個基于強化學習的創新框架，賦予多模態大模型在真實互聯網環境中執行智能按需搜索的能力。該框架使模型能夠自主識別知識邊界，進而選擇圖像或文本搜索方式獲取所需信息，并對搜索結果進行有效推理。

團隊表示，該研究為開發具備現實世界交互能力的多模態大模型提供了重要洞見，為構建自適應、交互式的多模態智能體奠定了基礎。期待隨著模型通過更多工具與現實世界的持續交互，多模態智能將在推理和適應能力上實現新的飛躍。

論文地址：https://arxiv.org/abs/2506.20670
項目地址：https://github.com/EvolvingLMMs-Lab/multimodal-search-r1