始智AI wisemodel.cn開源社區(qū)

始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。wisemodel社區(qū)上線，價格實惠，靈活方便，支持在線微調訓練模型，及和，并。

BGE系列模型自發(fā)布以來廣受社區(qū)好評。近日，智源研究院聯(lián)合多所高校開發(fā)了多模態(tài)向量模型BGE-VL，進一步擴充了原有生態(tài)體系。

BGE-VL在圖文檢索、組合圖像檢索等主要多模態(tài)檢索任務中均取得了最佳效果。BGE-VL借助大規(guī)模合成數(shù)據(jù)MegaPairs訓練而成。這一設計具備兩大核心優(yōu)勢。

優(yōu)異的可擴展性：MegaPairs 結合多模態(tài)表征模型、多模態(tài)大模型和大語言模型，在海量圖文語料庫中高效挖掘多模態(tài)三元組數(shù)據(jù)。

其算法能夠以極低成本持續(xù)生成多樣化且高質量的多模態(tài)三元組。本次發(fā)布的版本涵蓋 2600 萬條樣本，為多模態(tài)檢索模型的訓練提供了大規(guī)模、高價值的數(shù)據(jù)支持。

卓越的數(shù)據(jù)質量：相較于傳統(tǒng)人工標注數(shù)據(jù)，MegaPairs 僅需 1/70 的數(shù)據(jù)量即可實現(xiàn)更優(yōu)的訓練效果。利用該合成數(shù)據(jù)，智源訓練了多模態(tài)檢索模型 BGE-VL，顯著提升了多個主流多模態(tài)檢索基準的性能。BGE-VL模型已上線始智AI-wisemodel開源社區(qū)，歡迎大家前去體驗。

模型地址

https://www.wisemodel.cn/models/JUNJIE99/BGE-VL-MLLM-S1

https://www.wisemodel.cn/models/JUNJIE99/BGE-VL-MLLM-S2

01.

研究背景

在大模型時代，信息檢索需要滿足人們日益多樣化的需求，這種需求不僅體現(xiàn)在用戶的多模態(tài)查詢輸入上，也體現(xiàn)在對多模態(tài)信息的需求上。例如，用戶可能拍攝一張汽車外觀圖，并希望獲取該款汽車的指定信息。在這種情況下，多模態(tài)檢索器需要綜合理解用戶的圖像和文本指令，并從多種模態(tài)的信息中檢索出最相關的內容。

然而，現(xiàn)有的多模態(tài)檢索模型通常基于單一形式的跨模態(tài)配對數(shù)據(jù)（如圖像-文本對）進行訓練，這使得它們難以處理復雜的組合模態(tài)輸入。近年來，指令微調技術在文本檢索和大語言模型等領域已經(jīng)證明了其增強多任務能力的有效性。然而，以往的多模態(tài)檢索指令數(shù)據(jù)集大多依賴人工標注，限制了大規(guī)模多樣化數(shù)據(jù)的獲取。

為解決這一限制，智源BGE團隊創(chuàng)新性地提出了MegaPairs數(shù)據(jù)合成方法。該方法通過從現(xiàn)有大規(guī)模圖像數(shù)據(jù)集中挖掘多樣的關聯(lián)圖像對，并利用開源多模態(tài)大模型和大語言模型進行自動化指令生成，從而構建出高質量、可擴展、泛化性強的多模態(tài)檢索指令微調數(shù)據(jù)集。團隊基于MegaPairs的高質量數(shù)據(jù)，訓練并開源多模態(tài)向量模型BGE-VL系列，實現(xiàn)了當前最佳的多模態(tài)檢索能力。

02.

MegaPairs構造

MegaPairs提出從現(xiàn)有大規(guī)模圖文語料庫中挖掘并構造大規(guī)模、高質量多模態(tài)檢索指令數(shù)據(jù)集。

具體地，MegaPairs的構造主要分為兩個關鍵步驟：

（1）使用多種相似度模型從圖像數(shù)據(jù)集中挖掘多樣的圖像對；

（2）使用開源的多模態(tài)大模型和大語言模型合成開放域檢索指令。

以下圖為例，MegaPairs首先從大規(guī)模圖像數(shù)據(jù)集中采樣一對圖像-文本數(shù)據(jù)作為查詢數(shù)據(jù)。然后，利用多種圖像和文本相似度模型，挖掘出多組關聯(lián)圖像對（例如：同款汽車的外飾與內飾、同款汽車不同涂裝、同品牌汽車未來概念圖等）。

接著，針對這些挖掘出的圖像對，MegaPairs采用兩階段標注方法：首先使用多模態(tài)大語言模型（MLLM）總結兩張圖片之間的關聯(lián)關系，然后使用大語言模型（LLM）撰寫最終的開放域檢索指令。

值得注意的是，MegaPairs完全基于開源數(shù)據(jù)集和開源模型進行自動化構建和標注。通過引入多個相似度模型和兩階段標注方法，MegaPairs能夠在無需人工參與的情況下，擴展性地生成大規(guī)模、高質量且多樣化的多模態(tài)檢索指令數(shù)據(jù)集。

MegaPairs多模態(tài)三元數(shù)據(jù)構造流程

基于上述流水線，MegaPairs合成了超過2600萬條（查詢圖像, 查詢語句, 目標圖像）三元數(shù)據(jù)對。此外，鑒于“難負例”在訓練檢索模型的重要性，MegaPairs對于每組挖掘的圖像對數(shù)據(jù)都選取了其他相似圖片作為難負例。

03.

BEG-VL模型

基于MegaPairs合成的大規(guī)模多模態(tài)檢索指令數(shù)據(jù)集，智源BGE團隊訓練出了3款不同尺寸的多模態(tài)檢索模型。包括基于CLIP架構的BGE-VL-Base和BGE-VL-Large，以及基于多模態(tài)大模型架構的BGE-VL-MLLM。

團隊發(fā)現(xiàn)，僅僅使用MegaPairs三元組數(shù)據(jù)訓練，模型就在多個任務上實現(xiàn)了遠超以往方法的的領先性能優(yōu)勢。

綜合多模態(tài)嵌入任務性能表現(xiàn)

團隊首先在Massive Multimodal Embedding Benchmark（MMEB）上驗證了BGE-VL模型的性能。

MMEB是一個綜合性基準測試，涵蓋了4大類共計36個不同多模態(tài)嵌入評測任務：分類（Classification）、視覺問答（Visual Question Answering）、檢索（Retrieval）和視覺定位（Visual Grounding）。

MMEB評測任務示例圖

在零樣本性能表現(xiàn)方面，BGE-VL在MMEB的多個任務類型和整體評分均實現(xiàn)了最優(yōu)性能。更令人興奮的是，MegaPairs并未包含MMEB中的絕大部分任務類型數(shù)據(jù)（例如Classification、VQA，Grounding），卻能夠實現(xiàn)良好的任務泛化能力。

根據(jù)MMEB的設置，團隊進一步在MMEB的分布內（IND）集合（包含36個評測任務中的20個任務）上對BGE-VL進行了有監(jiān)督微調。

實驗結果顯示，BGE-VL的平均性能指標相比直接在MMEB上微調的VLM2Vec (LLaVA-1.6) 模型高出9.1個百分點。

同時，在分布外（OOD）數(shù)據(jù)集上的平均表現(xiàn)也比兩版VLM2Vec分別高出11.6%和7.1%。這些結果證明了MegaPairs數(shù)據(jù)的高質量和泛化能力。

綜合圖像檢索性能

傳統(tǒng)圖像檢索通常采用“文搜圖”或“圖搜圖”的方式。近年來，組合圖像檢索作為一種新興的圖像搜索范式，允許用戶同時輸入圖像和搜索指令，實現(xiàn)更精準的圖像檢索效果。這一方法被谷歌稱為“下一代圖像搜索范式”。

在當前主流的組合圖像檢索評測集CIRCO上，BGE-VL在不同模型尺寸上均顯著刷新了現(xiàn)有基準。大幅超越包括谷歌的MagicLens系列和英偉達的MM-Embed等對比基線。

具體而言，BGE-VL-MLLM較之前的SOTA模型提升了8.1個百分點。此外，BGE-VL-Base模型以不到1/50的參數(shù)量超越了如MM-Embed和E5-V等大模型底座的多模態(tài)檢索器。這些實驗結果有力展示了MegaPairs數(shù)據(jù)的有效性。

團隊還對MegaPairs的可擴展性和數(shù)據(jù)質量進行了深入研究。如圖所示，一方面，隨著MegaPairs數(shù)據(jù)規(guī)模的增加，BGE-VL模型表現(xiàn)出一致的性能增長趨勢，證明了MegaPairs數(shù)據(jù)構造方法的良好可擴展性。

另一方面，與在37M閉源數(shù)據(jù)上訓練的SOTA模型Google MagicLens相比，MegaPairs僅需1/70的數(shù)據(jù)規(guī)模（0.5M）即可實現(xiàn)顯著的性能優(yōu)勢，證明了MegaPairs數(shù)據(jù)的高效性和高質量。

MegaPairs可擴展性分析：使用不同規(guī)模的MegaPairs數(shù)據(jù)訓練BGE-VL-base模型在各評測基準上的性能變化趨勢。虛線表示基于CLIP-base并在37M MagicLens數(shù)據(jù)集上訓練的MagicLens-B模型的性能。

BGE-VL檢索可視化結果

未來，智源將繼續(xù)探索MegaPairs與更豐富的多模態(tài)檢索場景結合，進一步打造更全能通用的多模態(tài)檢索器。

編輯：成蘊年

----- END -----

wisemodel相關：

系統(tǒng)升級：

大賽報名：

系列模型：

關于wisemodel更多

1

歡迎持續(xù)關注和支持

開源社區(qū)建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區(qū)的志愿者計劃和開源共創(chuàng)計劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續(xù)關注wisemodel.cn開源社區(qū)動態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術、運營等人才加盟，技術側重在AI infra、后端開發(fā)，熟悉K8S、模型訓練和推理等技術， 以及熟悉開發(fā)者生態(tài)運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質內容

歡迎投稿分享人工智能領域相關的優(yōu)秀研究成果，鼓勵高校實驗室、大企業(yè)研究團隊、個人等，在wisemodel平臺上分享各類優(yōu)質內容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術實踐、應用和總結等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立，旨在打造和建設中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者，以及政府部門、學會協(xié)會、聯(lián)盟、基金會等，還有投資機構、科技媒體等，共同參與建設AI開源創(chuàng)新生態(tài)。

向上滑動查看