99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

多模態模型學會“按需搜索”,少搜30%還更準!字節&NTU新研究

0
分享至

MMSearch-R1團隊投稿
量子位 | 公眾號 QbitAI

多模態模型學會“按需搜索”!

字節&NTU最新研究,優化多模態模型搜索策略

通過搭建網絡搜索工具、構建多模態搜索數據集以及涉及簡單有效的獎勵機制,首次嘗試基于端到端強化學習的多模態模型自主搜索訓練

經過訓練的模型能夠自主判斷搜索時機、搜索內容并處理搜索結果,在真實互聯網環境中執行多輪按需搜索。



實驗結果表明,在知識密集型視覺問答任務(Visual Question Answering, VQA)中,MMSearch-R1系統展現出顯著優勢:

其性能不僅超越同規模模型在傳統檢索增強生成(RAG)工作流下的性能,更在減少約30%搜索次數的前提下,達到了更大規模規模模型做傳統RAG的性能水平。

下文將詳細解析該研究的研究方法以及實驗發現。



具體怎么做到的?

近年來,隨著視覺-語言訓練數據集在規模和質量上的雙重提升,多模態大模型(Large Multimodal Models, LMMs)在跨模態理解任務中展現出卓越的性能,其文本與視覺知識的對齊能力顯著增強。

然而,現實世界的信息具有高度動態性和復雜性,單純依靠擴大訓練數據規模的知識獲取方式存在固有局限:難以覆蓋長尾分布的知識、無法獲取模型訓練截止日期后的新信息,以及難以觸及私域信息資源。

這些局限性導致模型在實際應用中容易產生幻覺現象,嚴重制約了其在廣泛現實場景下部署的可靠性。

在此背景下,網絡搜索作為人類獲取新知識的核心途徑,被視為擴展模型能力邊界的重要工具,正受到學術界的高度重視。

如何使多模態模型具備自主、精準的外部信息獲取能力,從而實現準確的問題解答,成為當前研究的關鍵挑戰。

因此,ByteDance與南洋理工大學(NTU)S-Lab聯合開展的MMSearch-R1項目針對這一挑戰進行了探索。

下面詳細來看該研究的研究方法。

集成多輪搜索的強化學習訓練



1、多模態搜索工具

MMSearch-R1集成圖像搜索和文本搜索兩種工具,以滿足模型應對視覺問答任務的需求,其中圖像搜索工具基于Google Lens,支持搜索與用戶圖像視覺外觀匹配的網頁標題以及主要縮略圖,用于幫助模型準確識別重要的視覺元素。

文本搜索工具由Google Search,JINA Reader以及用于網頁內容總結的語言模型構成的鏈路組成,支持搜索與模型生成的搜索內容最相關的網頁及其內容摘要,用于幫助模型精確定位所需文本知識與信息。

2、多輪搜索強化學習訓練

MMSearch-R1采用GRPO作為強化學習算法進行模型訓練,基于veRL框架實現集成多輪對話與搜索的Rollout過程,在每輪對話中,模型首先進行思考,并執行可選的動作,如調用多模態搜索工具與真實互聯網進行交互,或給出最終的答案。

3、帶有搜索懲罰的獎勵函數

MMSearch-R1的獎勵函數由準確性得分和格式得分兩部分以加權求和的形式構成,其權重分別為0.9和0.1,分別衡量模型是否準確回答了用戶問題(模型所給答案與真實答案作字符串精確匹配)以及遵循了既定回復格式。

為了激勵模型優先利用自身知識完成作答,還會對調用搜索工具才獲得正確答案的回復進行懲罰(搜索懲罰因子為0.1),最終獎勵函數為:



構建搜索需求均衡的多模態圖像問答數據集

為了有效訓練模型實現智能化的按需搜索能力,研究精心構建了FactualVQA(FVQA)數據集,包含訓練集和測試集。該數據集的構建采用了一套精心設計的半自動化流程,重點聚焦于需要豐富視覺與文本知識支持的問答場景。



1、數據采集

團隊首先基于MetaCLIP的元數據分布進行多層次采樣,確保覆蓋從高頻到長尾的多樣化視覺概念(Visual Concept),并從互聯網中搜索與視覺概念最相關的圖片,基于GPT-4o生成事實性問答對。

為增強數據集的文本知識維度,團隊還從InfoSeek訓練集中篩選了具有代表性的問答樣本進行補充。為確保數據質量貼近真實應用場景,FVQA還補充了800個由標注人員標注問答對樣本。

2、數據均衡

完成初步數據采集后,通過一個粗訓練的模型對現有樣本進行分類,檢查每條數據的搜索必要性,最終訓練數據集包含約3400個需要搜索的樣本和1600個無需搜索的樣本。

實驗效果如何?

MMSearch-R1-7B基于Qwen2.5-VL-7B模型進行訓練。

在FVQA-test、InfoSeek等知識密集型VQA任務中,MMSearch-R1-7B的平均準確率比同等規模模型的傳統RAG基線高出約3%搜索比率降低了32.9%,同時能夠媲美32B模型RAG基線的效果。



經過強化學習訓練,模型提升了優化搜索內容以及處理搜索結果的能力(下圖左,經過強化學習的模型執行RAG Workflow性能要好于原始模型),同時增強了挖掘利用自身固有知識的能力(下圖右,模型提升了不搜索即可回答正確的比率)。



強化學習展現出比監督微調更大的潛力,在所有任務上以較少的訓練樣本取得更大的性能增益(下圖左)。

同時證明數據搜索比例均衡以及獎勵函數中的搜索懲罰機制有助于在訓練過程中塑造模型的按需搜索行為(下圖右)。



最后總結來說,MMSearch-R1是一個基于強化學習的創新框架,賦予多模態大模型在真實互聯網環境中執行智能按需搜索的能力。該框架使模型能夠自主識別知識邊界,進而選擇圖像或文本搜索方式獲取所需信息,并對搜索結果進行有效推理。

團隊表示,該研究為開發具備現實世界交互能力的多模態大模型提供了重要洞見,為構建自適應、交互式的多模態智能體奠定了基礎。期待隨著模型通過更多工具與現實世界的持續交互,多模態智能將在推理和適應能力上實現新的飛躍。

論文地址:https://arxiv.org/abs/2506.20670
項目地址:https://github.com/EvolvingLMMs-Lab/multimodal-search-r1

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
金正恩為什么不來華參加閱兵?

金正恩為什么不來華參加閱兵?

周邊問題研究所
2025-07-11 00:04:17
孫穎莎1-3淘汰眾生相:莎莎一臉落寞,教練眼神呆滯,球迷們嘩然

孫穎莎1-3淘汰眾生相:莎莎一臉落寞,教練眼神呆滯,球迷們嘩然

二哥聊球
2025-07-11 08:18:44
青島今天最高34℃,高溫還將持續10天!

青島今天最高34℃,高溫還將持續10天!

先鋒新聞
2025-07-11 07:01:05
孫繼海:經常被問國字號哪個球員是我的,說這話我覺得他不懂足球

孫繼海:經常被問國字號哪個球員是我的,說這話我覺得他不懂足球

直播吧
2025-07-11 10:51:43
新地標!抖音深圳總部正式啟用

新地標!抖音深圳總部正式啟用

GA環球建筑
2025-07-10 21:09:05
放棄1400萬!以快船為跳板,名記談比爾決定,哈登能幫助打回身價

放棄1400萬!以快船為跳板,名記談比爾決定,哈登能幫助打回身價

巴叔GO聊體育
2025-07-11 12:49:03
不能折騰老百姓!國務院為這“一件事”持續發力

不能折騰老百姓!國務院為這“一件事”持續發力

政知新媒體
2025-07-10 22:05:29
景甜拍戲出意外!工作人員滾下山崖,她第一時間沖去救人

景甜拍戲出意外!工作人員滾下山崖,她第一時間沖去救人

橙星文娛
2025-07-11 09:59:53
中國全新黑色殲-20A亮相!美媒:已遠超美國,F-35被徹底碾壓

中國全新黑色殲-20A亮相!美媒:已遠超美國,F-35被徹底碾壓

海上武器雜談
2025-07-11 11:20:31
再來說說南京紅姐

再來說說南京紅姐

喜歡歷史的阿繁
2025-07-11 04:29:24
在健身房,被惡心到了。

在健身房,被惡心到了。

健身迷
2025-07-02 00:21:44
成都:7月10日7時到11日7時,共計9站出現大暴雨

成都:7月10日7時到11日7時,共計9站出現大暴雨

界面新聞
2025-07-11 11:04:46
這次為什么當地就檢測不出鉛中毒的正確結果呢?你們還生嗎?

這次為什么當地就檢測不出鉛中毒的正確結果呢?你們還生嗎?

翻開歷史和現實
2025-07-09 09:33:52
都不裝了,特朗普放話轟炸莫斯科,普京拒絕談判,俄軍開辟新戰線

都不裝了,特朗普放話轟炸莫斯科,普京拒絕談判,俄軍開辟新戰線

博覽歷史
2025-07-10 17:02:11
楊少華生前住在楊倫家,工資全上交,全家都在楊議公司上班

楊少華生前住在楊倫家,工資全上交,全家都在楊議公司上班

情感大頭說說
2025-07-11 00:09:33
天水幼兒被下毒后續,官媒犀利發問要作案動機,句句說到網友心坎

天水幼兒被下毒后續,官媒犀利發問要作案動機,句句說到網友心坎

米果說識
2025-07-09 13:31:12
反轉!癱瘓女被拋棄后續,把男友當備胎,黑歷史被扒,果然不簡單

反轉!癱瘓女被拋棄后續,把男友當備胎,黑歷史被扒,果然不簡單

清游說娛
2025-07-10 15:03:11
超級巨無霸!巴黎可能成為足壇首支“七冠王”,還差4冠??

超級巨無霸!巴黎可能成為足壇首支“七冠王”,還差4冠??

直播吧
2025-07-11 11:00:16
毀了王治郅,逼姚明退役,他憑一己之力讓中國籃球倒退了二十年!

毀了王治郅,逼姚明退役,他憑一己之力讓中國籃球倒退了二十年!

啟娛說
2025-07-07 16:54:03
俠客島評:幼兒血鉛超標事件還需進一步回應釋惑,天水和西安檢測結果為何相差甚遠?

俠客島評:幼兒血鉛超標事件還需進一步回應釋惑,天水和西安檢測結果為何相差甚遠?

大風新聞
2025-07-10 20:52:17
2025-07-11 13:35:00
量子位 incentive-icons
量子位
追蹤人工智能動態
10841文章數 176184關注度
往期回顧 全部

科技要聞

李斌豁出去了!5米大車預售不到20萬

頭條要聞

王毅談及泰柬邊境爭端 泰國外長:感謝中方

頭條要聞

王毅談及泰柬邊境爭端 泰國外長:感謝中方

體育要聞

白衣生涯最后一舞,但魔笛的故事還沒結束

娛樂要聞

楊少華靈堂細節 楊家兒子榨干老父親?

財經要聞

"它經濟"崛起 國產品牌快速追趕國際巨頭

汽車要聞

最便宜滿血版華為智駕和鴻蒙座艙 嵐圖FREE+閉眼沖

態度原創

教育
游戲
旅游
公開課
軍事航空

教育要聞

特別的緣分!603分、604分!同班同學一起上湖大!

二游《藍色星原:旅謠》首曝角色介紹:美少女寒悠悠

旅游要聞

熱聞|清明假期將至,熱門目的地有哪些?

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

俄羅斯對烏克蘭發動最大規模無人機襲擊

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 新野县| 金沙县| 南平市| 通城县| 开原市| 乌兰浩特市| 曲沃县| 竹溪县| 宜兰县| 广昌县| 白朗县| 韶山市| 仁怀市| 大化| 铅山县| 兴国县| 河池市| 循化| 辽宁省| 南乐县| 襄垣县| 云林县| 香河县| 定西市| 简阳市| 阿合奇县| 景泰县| 天峨县| 丹江口市| 磴口县| 绥化市| 滕州市| 琼结县| 鹤岗市| 宜宾市| 竹北市| 同仁县| 田林县| 大足县| 崇州市| 嵩明县|