99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

多模態模型學會“按需搜索”,少搜30%還更準!字節&NTU新研究

0
分享至

MMSearch-R1團隊投稿
量子位 | 公眾號 QbitAI

多模態模型學會“按需搜索”!

字節&NTU最新研究,優化多模態模型搜索策略

通過搭建網絡搜索工具、構建多模態搜索數據集以及涉及簡單有效的獎勵機制,首次嘗試基于端到端強化學習的多模態模型自主搜索訓練

經過訓練的模型能夠自主判斷搜索時機、搜索內容并處理搜索結果,在真實互聯網環境中執行多輪按需搜索。



實驗結果表明,在知識密集型視覺問答任務(Visual Question Answering, VQA)中,MMSearch-R1系統展現出顯著優勢:

其性能不僅超越同規模模型在傳統檢索增強生成(RAG)工作流下的性能,更在減少約30%搜索次數的前提下,達到了更大規模規模模型做傳統RAG的性能水平。

下文將詳細解析該研究的研究方法以及實驗發現。



具體怎么做到的?

近年來,隨著視覺-語言訓練數據集在規模和質量上的雙重提升,多模態大模型(Large Multimodal Models, LMMs)在跨模態理解任務中展現出卓越的性能,其文本與視覺知識的對齊能力顯著增強。

然而,現實世界的信息具有高度動態性和復雜性,單純依靠擴大訓練數據規模的知識獲取方式存在固有局限:難以覆蓋長尾分布的知識、無法獲取模型訓練截止日期后的新信息,以及難以觸及私域信息資源。

這些局限性導致模型在實際應用中容易產生幻覺現象,嚴重制約了其在廣泛現實場景下部署的可靠性。

在此背景下,網絡搜索作為人類獲取新知識的核心途徑,被視為擴展模型能力邊界的重要工具,正受到學術界的高度重視。

如何使多模態模型具備自主、精準的外部信息獲取能力,從而實現準確的問題解答,成為當前研究的關鍵挑戰。

因此,ByteDance與南洋理工大學(NTU)S-Lab聯合開展的MMSearch-R1項目針對這一挑戰進行了探索。

下面詳細來看該研究的研究方法。

集成多輪搜索的強化學習訓練



1、多模態搜索工具

MMSearch-R1集成圖像搜索和文本搜索兩種工具,以滿足模型應對視覺問答任務的需求,其中圖像搜索工具基于Google Lens,支持搜索與用戶圖像視覺外觀匹配的網頁標題以及主要縮略圖,用于幫助模型準確識別重要的視覺元素。

文本搜索工具由Google Search,JINA Reader以及用于網頁內容總結的語言模型構成的鏈路組成,支持搜索與模型生成的搜索內容最相關的網頁及其內容摘要,用于幫助模型精確定位所需文本知識與信息。

2、多輪搜索強化學習訓練

MMSearch-R1采用GRPO作為強化學習算法進行模型訓練,基于veRL框架實現集成多輪對話與搜索的Rollout過程,在每輪對話中,模型首先進行思考,并執行可選的動作,如調用多模態搜索工具與真實互聯網進行交互,或給出最終的答案。

3、帶有搜索懲罰的獎勵函數

MMSearch-R1的獎勵函數由準確性得分和格式得分兩部分以加權求和的形式構成,其權重分別為0.9和0.1,分別衡量模型是否準確回答了用戶問題(模型所給答案與真實答案作字符串精確匹配)以及遵循了既定回復格式。

為了激勵模型優先利用自身知識完成作答,還會對調用搜索工具才獲得正確答案的回復進行懲罰(搜索懲罰因子為0.1),最終獎勵函數為:



構建搜索需求均衡的多模態圖像問答數據集

為了有效訓練模型實現智能化的按需搜索能力,研究精心構建了FactualVQA(FVQA)數據集,包含訓練集和測試集。該數據集的構建采用了一套精心設計的半自動化流程,重點聚焦于需要豐富視覺與文本知識支持的問答場景。



1、數據采集

團隊首先基于MetaCLIP的元數據分布進行多層次采樣,確保覆蓋從高頻到長尾的多樣化視覺概念(Visual Concept),并從互聯網中搜索與視覺概念最相關的圖片,基于GPT-4o生成事實性問答對。

為增強數據集的文本知識維度,團隊還從InfoSeek訓練集中篩選了具有代表性的問答樣本進行補充。為確保數據質量貼近真實應用場景,FVQA還補充了800個由標注人員標注問答對樣本。

2、數據均衡

完成初步數據采集后,通過一個粗訓練的模型對現有樣本進行分類,檢查每條數據的搜索必要性,最終訓練數據集包含約3400個需要搜索的樣本和1600個無需搜索的樣本。

實驗效果如何?

MMSearch-R1-7B基于Qwen2.5-VL-7B模型進行訓練。

在FVQA-test、InfoSeek等知識密集型VQA任務中,MMSearch-R1-7B的平均準確率比同等規模模型的傳統RAG基線高出約3%搜索比率降低了32.9%,同時能夠媲美32B模型RAG基線的效果。



經過強化學習訓練,模型提升了優化搜索內容以及處理搜索結果的能力(下圖左,經過強化學習的模型執行RAG Workflow性能要好于原始模型),同時增強了挖掘利用自身固有知識的能力(下圖右,模型提升了不搜索即可回答正確的比率)。



強化學習展現出比監督微調更大的潛力,在所有任務上以較少的訓練樣本取得更大的性能增益(下圖左)。

同時證明數據搜索比例均衡以及獎勵函數中的搜索懲罰機制有助于在訓練過程中塑造模型的按需搜索行為(下圖右)。



最后總結來說,MMSearch-R1是一個基于強化學習的創新框架,賦予多模態大模型在真實互聯網環境中執行智能按需搜索的能力。該框架使模型能夠自主識別知識邊界,進而選擇圖像或文本搜索方式獲取所需信息,并對搜索結果進行有效推理。

團隊表示,該研究為開發具備現實世界交互能力的多模態大模型提供了重要洞見,為構建自適應、交互式的多模態智能體奠定了基礎。期待隨著模型通過更多工具與現實世界的持續交互,多模態智能將在推理和適應能力上實現新的飛躍。

論文地址:https://arxiv.org/abs/2506.20670
項目地址:https://github.com/EvolvingLMMs-Lab/multimodal-search-r1

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
94歲楊少華高溫天氣被推去剪彩,下午就去世了,家屬評論區淪陷

94歲楊少華高溫天氣被推去剪彩,下午就去世了,家屬評論區淪陷

萌神木木
2025-07-09 19:09:57
曝一男子性侵15歲女孩,跪地求饒被女孩父母打死,現場曝光滿地血

曝一男子性侵15歲女孩,跪地求饒被女孩父母打死,現場曝光滿地血

180視角
2025-07-09 16:48:04
天水幼兒園買的哪家的顏料里鉛含量那么高?網友質疑監控擺拍:后廚太干凈了

天水幼兒園買的哪家的顏料里鉛含量那么高?網友質疑監控擺拍:后廚太干凈了

互聯網大觀
2025-07-09 17:31:34
美媒曝光絕密錄音,特朗普罕見默認,中國敢動手,北京寸土不留?

美媒曝光絕密錄音,特朗普罕見默認,中國敢動手,北京寸土不留?

聞識
2025-07-09 19:52:34
上海博物館一文創產品被指消費“文物傷疤” 博物館回應:已在處理

上海博物館一文創產品被指消費“文物傷疤” 博物館回應:已在處理

封面新聞
2025-07-09 14:50:08
李小璐生子風波再起!更多內幕被扒后,與賈乃亮復合一事水落石出

李小璐生子風波再起!更多內幕被扒后,與賈乃亮復合一事水落石出

白面書誏
2025-07-10 00:21:31
“鄭州人民公園打人事件”續:17人被抓,系臨時起意相約作案

“鄭州人民公園打人事件”續:17人被抓,系臨時起意相約作案

澎湃新聞
2025-07-09 20:52:26
連幼兒園血鉛中毒的事都想壓下來,維穩思維令人發指!

連幼兒園血鉛中毒的事都想壓下來,維穩思維令人發指!

基本常識
2025-07-08 07:55:59
再次首盤告負后逆轉,德約3-1科博利晉級溫網男單四強

再次首盤告負后逆轉,德約3-1科博利晉級溫網男單四強

懂球帝
2025-07-10 02:44:04
美記:瓦蘭希望自己的合同轉為全額保障,掘金管理層對此有些排斥

美記:瓦蘭希望自己的合同轉為全額保障,掘金管理層對此有些排斥

移動擋拆
2025-07-10 04:25:45
高加索局勢繼續惡化,俄又對阿塞拜疆揮舞核大棒

高加索局勢繼續惡化,俄又對阿塞拜疆揮舞核大棒

史政先鋒
2025-07-09 13:49:51
嫦娥六號月球樣品系列研究成果發布,首次揭開月球背面演化歷史

嫦娥六號月球樣品系列研究成果發布,首次揭開月球背面演化歷史

新京報
2025-07-09 23:12:35
幼兒園附近有鉛廠!疑后廚家屬發聲爆料,當地村民恐知內情

幼兒園附近有鉛廠!疑后廚家屬發聲爆料,當地村民恐知內情

180視角
2025-07-09 13:25:40
世俱杯狂歡夜:巴黎4-0送皇馬出局,締造25年神跡,決賽對陣出爐

世俱杯狂歡夜:巴黎4-0送皇馬出局,締造25年神跡,決賽對陣出爐

侃球熊弟
2025-07-10 03:48:51
特朗普曾威脅普京稱要“轟炸莫斯科”?克宮回應

特朗普曾威脅普京稱要“轟炸莫斯科”?克宮回應

魯中晨報
2025-07-09 20:49:19
鏖戰33局,辛納3-0擊敗謝爾頓晉級溫網男單四強

鏖戰33局,辛納3-0擊敗謝爾頓晉級溫網男單四強

懂球帝
2025-07-10 01:10:09
已下架,七大著名酸奶全軍覆沒,實為科技糖水,以后別再當冤大頭

已下架,七大著名酸奶全軍覆沒,實為科技糖水,以后別再當冤大頭

史行途
2025-07-09 15:17:20
郭晶晶登上山東艦那天,香港貴婦直接看懵了 以前看不起現在攀不起

郭晶晶登上山東艦那天,香港貴婦直接看懵了 以前看不起現在攀不起

科學發掘
2025-07-09 15:53:24
武漢男子借款20萬陷入“以貸養貸”,6名放貸者因非法經營罪被刑拘|封面深鏡

武漢男子借款20萬陷入“以貸養貸”,6名放貸者因非法經營罪被刑拘|封面深鏡

封面新聞
2025-07-09 21:39:02
正式退出!全紅嬋官宣意外決定,中國跳水隊無奈批準,陳芋汐祝福

正式退出!全紅嬋官宣意外決定,中國跳水隊無奈批準,陳芋汐祝福

博覽歷史
2025-07-08 13:16:05
2025-07-10 06:59:00
量子位 incentive-icons
量子位
追蹤人工智能動態
10827文章數 176182關注度
往期回顧 全部

科技要聞

創造歷史,英偉達成首個4萬億美元上市公司

頭條要聞

白宮官員談特朗普馬斯克“鬧翻”:結局非常麻煩

頭條要聞

白宮官員談特朗普馬斯克“鬧翻”:結局非常麻煩

體育要聞

東亞杯-姚偉傳射+世界波邵子欽頭槌 女足2-2韓國

娛樂要聞

周杰倫開抖音號瘋漲三百萬粉絲

財經要聞

金店業績分化 為何"一口價"賣得更好了?

汽車要聞

比亞迪為智能泊車安全兜底 天神之眼全面OTA升級

態度原創

本地
藝術
數碼
房產
軍事航空

本地新聞

云游中國|踏入時光長廊!岐山八景訴說古今歲月風華

藝術要聞

故宮珍藏的墨跡《十七帖》,比拓本更精良,這才是地道的魏晉寫法

數碼要聞

三星Galaxy Watch Ultra 2025發布 售價4999元

房產要聞

成交活躍!改善項目霸屏領跑!2025上半年廣州熱盤榜出爐!

軍事要聞

以軍稱打死哈馬斯一高級領導人 現場畫面公布

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 新余市| 四会市| 方山县| 含山县| 鄯善县| 衡阳县| 平顺县| 获嘉县| 绵竹市| 廉江市| 青海省| 无棣县| 柘城县| 德安县| 辽宁省| 东宁县| 泸溪县| 道孚县| 晴隆县| 永仁县| 宣威市| 廉江市| 顺昌县| 兰西县| 高阳县| 同心县| 贺州市| 汉川市| 平乡县| 左贡县| 莆田市| 阳曲县| 赤水市| 铅山县| 盐山县| 连平县| 客服| 麻阳| 阳东县| 崇文区| 长汀县|