99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

多模態模型學會“按需搜索”,少搜30%還更準!字節&NTU新研究

0
分享至

MMSearch-R1團隊投稿
量子位 | 公眾號 QbitAI

多模態模型學會“按需搜索”!

字節&NTU最新研究,優化多模態模型搜索策略

通過搭建網絡搜索工具、構建多模態搜索數據集以及涉及簡單有效的獎勵機制,首次嘗試基于端到端強化學習的多模態模型自主搜索訓練

經過訓練的模型能夠自主判斷搜索時機、搜索內容并處理搜索結果,在真實互聯網環境中執行多輪按需搜索。



實驗結果表明,在知識密集型視覺問答任務(Visual Question Answering, VQA)中,MMSearch-R1系統展現出顯著優勢:

其性能不僅超越同規模模型在傳統檢索增強生成(RAG)工作流下的性能,更在減少約30%搜索次數的前提下,達到了更大規模規模模型做傳統RAG的性能水平。

下文將詳細解析該研究的研究方法以及實驗發現。



具體怎么做到的?

近年來,隨著視覺-語言訓練數據集在規模和質量上的雙重提升,多模態大模型(Large Multimodal Models, LMMs)在跨模態理解任務中展現出卓越的性能,其文本與視覺知識的對齊能力顯著增強。

然而,現實世界的信息具有高度動態性和復雜性,單純依靠擴大訓練數據規模的知識獲取方式存在固有局限:難以覆蓋長尾分布的知識、無法獲取模型訓練截止日期后的新信息,以及難以觸及私域信息資源。

這些局限性導致模型在實際應用中容易產生幻覺現象,嚴重制約了其在廣泛現實場景下部署的可靠性。

在此背景下,網絡搜索作為人類獲取新知識的核心途徑,被視為擴展模型能力邊界的重要工具,正受到學術界的高度重視。

如何使多模態模型具備自主、精準的外部信息獲取能力,從而實現準確的問題解答,成為當前研究的關鍵挑戰。

因此,ByteDance與南洋理工大學(NTU)S-Lab聯合開展的MMSearch-R1項目針對這一挑戰進行了探索。

下面詳細來看該研究的研究方法。

集成多輪搜索的強化學習訓練



1、多模態搜索工具

MMSearch-R1集成圖像搜索和文本搜索兩種工具,以滿足模型應對視覺問答任務的需求,其中圖像搜索工具基于Google Lens,支持搜索與用戶圖像視覺外觀匹配的網頁標題以及主要縮略圖,用于幫助模型準確識別重要的視覺元素。

文本搜索工具由Google Search,JINA Reader以及用于網頁內容總結的語言模型構成的鏈路組成,支持搜索與模型生成的搜索內容最相關的網頁及其內容摘要,用于幫助模型精確定位所需文本知識與信息。

2、多輪搜索強化學習訓練

MMSearch-R1采用GRPO作為強化學習算法進行模型訓練,基于veRL框架實現集成多輪對話與搜索的Rollout過程,在每輪對話中,模型首先進行思考,并執行可選的動作,如調用多模態搜索工具與真實互聯網進行交互,或給出最終的答案。

3、帶有搜索懲罰的獎勵函數

MMSearch-R1的獎勵函數由準確性得分和格式得分兩部分以加權求和的形式構成,其權重分別為0.9和0.1,分別衡量模型是否準確回答了用戶問題(模型所給答案與真實答案作字符串精確匹配)以及遵循了既定回復格式。

為了激勵模型優先利用自身知識完成作答,還會對調用搜索工具才獲得正確答案的回復進行懲罰(搜索懲罰因子為0.1),最終獎勵函數為:



構建搜索需求均衡的多模態圖像問答數據集

為了有效訓練模型實現智能化的按需搜索能力,研究精心構建了FactualVQA(FVQA)數據集,包含訓練集和測試集。該數據集的構建采用了一套精心設計的半自動化流程,重點聚焦于需要豐富視覺與文本知識支持的問答場景。



1、數據采集

團隊首先基于MetaCLIP的元數據分布進行多層次采樣,確保覆蓋從高頻到長尾的多樣化視覺概念(Visual Concept),并從互聯網中搜索與視覺概念最相關的圖片,基于GPT-4o生成事實性問答對。

為增強數據集的文本知識維度,團隊還從InfoSeek訓練集中篩選了具有代表性的問答樣本進行補充。為確保數據質量貼近真實應用場景,FVQA還補充了800個由標注人員標注問答對樣本。

2、數據均衡

完成初步數據采集后,通過一個粗訓練的模型對現有樣本進行分類,檢查每條數據的搜索必要性,最終訓練數據集包含約3400個需要搜索的樣本和1600個無需搜索的樣本。

實驗效果如何?

MMSearch-R1-7B基于Qwen2.5-VL-7B模型進行訓練。

在FVQA-test、InfoSeek等知識密集型VQA任務中,MMSearch-R1-7B的平均準確率比同等規模模型的傳統RAG基線高出約3%搜索比率降低了32.9%,同時能夠媲美32B模型RAG基線的效果。



經過強化學習訓練,模型提升了優化搜索內容以及處理搜索結果的能力(下圖左,經過強化學習的模型執行RAG Workflow性能要好于原始模型),同時增強了挖掘利用自身固有知識的能力(下圖右,模型提升了不搜索即可回答正確的比率)。



強化學習展現出比監督微調更大的潛力,在所有任務上以較少的訓練樣本取得更大的性能增益(下圖左)。

同時證明數據搜索比例均衡以及獎勵函數中的搜索懲罰機制有助于在訓練過程中塑造模型的按需搜索行為(下圖右)。



最后總結來說,MMSearch-R1是一個基于強化學習的創新框架,賦予多模態大模型在真實互聯網環境中執行智能按需搜索的能力。該框架使模型能夠自主識別知識邊界,進而選擇圖像或文本搜索方式獲取所需信息,并對搜索結果進行有效推理。

團隊表示,該研究為開發具備現實世界交互能力的多模態大模型提供了重要洞見,為構建自適應、交互式的多模態智能體奠定了基礎。期待隨著模型通過更多工具與現實世界的持續交互,多模態智能將在推理和適應能力上實現新的飛躍。

論文地址:https://arxiv.org/abs/2506.20670
項目地址:https://github.com/EvolvingLMMs-Lab/multimodal-search-r1

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
中國女籃回應李夢無緣亞洲杯:并非與宮魯鳴不合 兩點原因導致缺席

中國女籃回應李夢無緣亞洲杯:并非與宮魯鳴不合 兩點原因導致缺席

狼叔評論
2025-07-12 23:24:45
砍下22分12籃板6助攻!29號秀麥克尼利:唯一能做的就是全力以赴

砍下22分12籃板6助攻!29號秀麥克尼利:唯一能做的就是全力以赴

直播吧
2025-07-12 19:10:29
2025養老金漲幅僅2%讓退休人員炸鍋,到底能漲多少?答案來了

2025養老金漲幅僅2%讓退休人員炸鍋,到底能漲多少?答案來了

水泥土的搞笑
2025-07-13 01:20:39
不是3架是4架,殲-10CE戰績再度刷新:這次國產戰機是真出名了

不是3架是4架,殲-10CE戰績再度刷新:這次國產戰機是真出名了

書中自有顏如玉
2025-07-13 00:47:52
胡塞武裝把中國制造的貨輪打沉了,卻沒有受到指責,原因讓人理解

胡塞武裝把中國制造的貨輪打沉了,卻沒有受到指責,原因讓人理解

文雅筆墨
2025-07-12 11:13:37
都體:國米考慮和阿切爾比解約,可支付50萬歐單方面解約

都體:國米考慮和阿切爾比解約,可支付50萬歐單方面解約

雷速體育
2025-07-13 00:35:02
中方3次發話后,泰國撤回法案,佩通坦身份已變,洪森被反將一軍

中方3次發話后,泰國撤回法案,佩通坦身份已變,洪森被反將一軍

時尚的弄潮
2025-07-13 01:41:02
還真讓他玩成了?美國聯邦財政6月意外盈余270億美元,自2017年以來首次

還真讓他玩成了?美國聯邦財政6月意外盈余270億美元,自2017年以來首次

留學生日報
2025-07-12 16:14:05
直球視線|馬杜埃凱去阿森納,堪稱今夏最招笑的轉會

直球視線|馬杜埃凱去阿森納,堪稱今夏最招笑的轉會

桃葉渡春
2025-07-13 01:48:34
何炅與楊鈺瑩牽手現身街頭!他們真的太不容易了!

何炅與楊鈺瑩牽手現身街頭!他們真的太不容易了!

陳意小可愛
2025-07-10 14:04:29
古惑仔播出30年,兄弟5人差距懸殊,有人仍站頂峰,有人發福沉寂

古惑仔播出30年,兄弟5人差距懸殊,有人仍站頂峰,有人發福沉寂

卷史
2025-07-12 23:52:33
男子冒充外賣員入戶,與女主播發生6次關系,女子哭訴:還帶道具

男子冒充外賣員入戶,與女主播發生6次關系,女子哭訴:還帶道具

書畫藝術收藏
2025-07-02 19:10:03
為什么CCTV-6總是能播一些連院線都上不了的電影?真相了!

為什么CCTV-6總是能播一些連院線都上不了的電影?真相了!

帶你感受人間冷暖
2025-07-13 00:05:17
WTT大滿貫:首個男單四強出來了!林詩棟4-1 打敗日本黑馬進四強

WTT大滿貫:首個男單四強出來了!林詩棟4-1 打敗日本黑馬進四強

蘭亭墨未干
2025-07-13 02:18:41
霍英東的話成真!李嘉誠再次暴雷,這次他的傲慢徹底毀幾十年努力

霍英東的話成真!李嘉誠再次暴雷,這次他的傲慢徹底毀幾十年努力

寒士之言本尊
2025-06-01 18:39:38
久爾杰維奇大膽糾錯,放棄心腹愛將,重用中場新人,將更加務實了

久爾杰維奇大膽糾錯,放棄心腹愛將,重用中場新人,將更加務實了

體壇風之子
2025-07-12 06:49:59
江蘇周華637分被火箭軍大學錄取,真實家境曝光,母親打扮太寒酸

江蘇周華637分被火箭軍大學錄取,真實家境曝光,母親打扮太寒酸

王曉愛體彩
2025-07-12 17:46:00
央視直播美國大滿貫13日賽程,林詩棟對張本智和,王楚欽戰勒布倫

央視直播美國大滿貫13日賽程,林詩棟對張本智和,王楚欽戰勒布倫

乒乓球球
2025-07-12 16:37:55
廣州白云山出現吠鹿,腦袋像麒麟,嘴里長獠牙,但膽子小遇事就跑

廣州白云山出現吠鹿,腦袋像麒麟,嘴里長獠牙,但膽子小遇事就跑

雪靈谷
2025-07-12 09:15:33
特朗普直接威脅普京,若攻烏將轟炸莫斯科,還對中國撂下狠話

特朗普直接威脅普京,若攻烏將轟炸莫斯科,還對中國撂下狠話

特特農村生活
2025-07-13 00:25:37
2025-07-13 03:04:49
量子位 incentive-icons
量子位
追蹤人工智能動態
10847文章數 176189關注度
往期回顧 全部

科技要聞

Kimi深夜整活,開源了首個萬億參數模型

頭條要聞

尹錫悅被收押后 身邊人士稱其或申請前往外部醫院治療

頭條要聞

尹錫悅被收押后 身邊人士稱其或申請前往外部醫院治療

體育要聞

夏聯-開拓者大勝勇士 楊瀚森首秀10+4+5+3帽

娛樂要聞

鹿晗賬號解禁后首曬自拍,漲粉超400萬

財經要聞

中國超半數城市人口下滑,什么信號?

汽車要聞

小米YU7深度試駕:優點很多缺點也很多

態度原創

手機
健康
本地
教育
房產

手機要聞

OPPO K13 Turbo真機曝光:RGB 燈效+主動散熱風扇

呼吸科專家破解呼吸道九大謠言!

本地新聞

換個城市過夏天 | 楓葉之都的22℃清涼秘境

教育要聞

AI覆蓋所有教室,校長來自本部!七中育才金融城校區來了,對口錦江這2個學區

房產要聞

8大新盤曝光!2025下半場,廣州主城開卷廝殺!

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 孟连| 潜山县| 伊宁县| 淅川县| 大同市| 花莲市| 沙湾县| 福鼎市| 延寿县| 师宗县| 湟源县| 读书| 兴山县| 青神县| 左贡县| 观塘区| 高清| 清徐县| 灵石县| 长治县| 台州市| 松原市| 清水河县| 长乐市| 五常市| 德惠市| 梁河县| 台中市| 郓城县| 宣城市| 南靖县| 临江市| 界首市| 临西县| 张家川| 故城县| 五河县| 白玉县| 西乌珠穆沁旗| 常州市| 闽清县|