來源：魔搭社區(qū)

隨著DeepSeek R1的推出，強(qiáng)化學(xué)習(xí)在大模型領(lǐng)域的潛力被進(jìn)一步挖掘。Reinforcement Learning with Verifiable Reward (RLVR) 方法的出現(xiàn)，為多模態(tài)任務(wù)提供了全新的優(yōu)化思路，無論是幾何推理、視覺計(jì)數(shù)，還是經(jīng)典圖像分類和物體檢測任務(wù)，RLVR都展現(xiàn)出了顯著優(yōu)于傳統(tǒng)監(jiān)督微調(diào)（SFT）的效果。

然而，現(xiàn)有研究多聚焦于Image-Text多模態(tài)任務(wù)，尚未涉足更復(fù)雜的全模態(tài)場景。基于此，通義實(shí)驗(yàn)室團(tuán)隊(duì)探索了RLVR與視頻全模態(tài)模型的結(jié)合，并提出了R1-Omni模型。

論文：https://arxiv.org/abs/2503.05379

Github：https://github.com/HumanMLLM/R1-Omni

模型：https://www.modelscope.cn/models/iic/R1-Omni-0.5B

模型介紹

模型訓(xùn)練的兩個(gè)階段

冷啟動(dòng)階段：奠定基礎(chǔ)推理能力

為了保證RLVR階段訓(xùn)練的平穩(wěn)性，該團(tuán)隊(duì)使用一個(gè)組合數(shù)據(jù)集進(jìn)行微調(diào)，使其初步掌握多模態(tài)情感識(shí)別任務(wù)中的推理能力。該組合數(shù)據(jù)集是一個(gè)由 580 條視頻數(shù)據(jù)組成的組合數(shù)據(jù)集，其中包括來自 Explainable Multimodal Emotion Reasoning (EMER) 數(shù)據(jù)集的 232 條樣本，以及來自 HumanOmni 數(shù)據(jù)集的 348 條樣本。

EMER數(shù)據(jù)集的數(shù)據(jù)格式如下：

這一階段確保了模型在進(jìn)入 RLVR 階段前已具備一定基礎(chǔ)能力，從而提升后續(xù)訓(xùn)練的效率與穩(wěn)定性。

RLVR階段：推理與泛化能力雙重提升

基于冷啟動(dòng)階段初始化的模型，通過RLVR的方式訓(xùn)練，同時(shí)利用視頻和音頻的多模態(tài)數(shù)據(jù)優(yōu)化情感識(shí)別任務(wù)。該階段通過強(qiáng)化學(xué)習(xí)與可驗(yàn)證獎(jiǎng)勵(lì)機(jī)制，進(jìn)一步優(yōu)化了模型的推理能力和泛化性能。

RLVR的第一個(gè)關(guān)鍵組件是策略模型（policy model），該模型處理由視頻幀和相應(yīng)音頻流組成的多模態(tài)輸入數(shù)據(jù)，并生成一組候選響應(yīng)。每個(gè)響應(yīng)都附帶詳細(xì)的推理，展示了模型如何整合視覺和聽覺信息從而得出預(yù)測的詳細(xì)過程。

第二個(gè)關(guān)鍵組件是獎(jiǎng)勵(lì)函數(shù)，策略模型生成的這些候選響應(yīng)使用可驗(yàn)證的獎(jiǎng)勵(lì)函數(shù)（reward function）進(jìn)行評(píng)估。RLVR訓(xùn)練框架中用到的獎(jiǎng)勵(lì)函數(shù)受DeepSeekR1的啟發(fā)，將獎(jiǎng)勵(lì)分成了兩個(gè)部分，精確率獎(jiǎng)勵(lì)（accuracy reward）和格式獎(jiǎng)勵(lì)（format reward），這兩部分共同形成最終的獎(jiǎng)勵(lì)R：

通過聯(lián)合兩部分獎(jiǎng)勵(lì)，該獎(jiǎng)勵(lì)函數(shù)不僅鼓勵(lì)模型生成正確的預(yù)測，同時(shí)保證輸出是結(jié)構(gòu)化的，并且和我們預(yù)設(shè)的格式一致。

實(shí)驗(yàn)表明，RLVR 不僅讓音頻和視頻信息的作用更加透明，還顯著提升了模型在情緒識(shí)別任務(wù)中的關(guān)鍵指標(biāo)。此外，R1-Omni 在分布外測試中表現(xiàn)出色，充分展現(xiàn)了其在復(fù)雜場景下的強(qiáng)大泛化能力。

模型效果對(duì)比

為了驗(yàn)證 R1-Omni 的性能，我們將其與原始的 HumanOmni-0.5B 模型、冷啟動(dòng)階段的模型以及在 MAFW 和 DFEW 數(shù)據(jù)集上有監(jiān)督微調(diào)的模型進(jìn)行了對(duì)比。

實(shí)驗(yàn)結(jié)果顯示，在同分布測試集（DFEW 和 MAFW）上，R1-Omni 相較于原始基線模型平均提升超過 35%，相較于 SFT 模型在 UAR 上的提升高達(dá) 10% 以上。在不同分布測試集（RAVDESS）上，R1-Omni 同樣展現(xiàn)了卓越的泛化能力，WAR 和 UAR 均提升超過 13%。這些結(jié)果充分證明了 RLVR 在提升推理能力和泛化性能上的顯著優(yōu)勢。

模型效果

R1-Omni 的一大亮點(diǎn)在于其透明性（推理能力）。通過 RLVR 方法，音頻信息和視頻信息在模型中的作用變得更加清晰可見。

比如，在情緒識(shí)別任務(wù)中，R1-Omni 能夠明確展示哪些模態(tài)信息對(duì)特定情緒的判斷起到了關(guān)鍵作用。

這種透明性不僅幫助我們更好地理解模型的決策過程，也為未來的研究提供了重要參考方向。未來，我們期待 R1-Omni 在更多復(fù)雜場景中發(fā)揮作用，為多模態(tài)任務(wù)的研究與應(yīng)用開辟新的道路。