R1-Reward團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI

多模態(tài)獎(jiǎng)勵(lì)模型（MRMs）在提升多模態(tài)大語(yǔ)言模型（MLLMs）的表現(xiàn)中起著至關(guān)重要的作用：

• 在訓(xùn)練階段，它可以提供穩(wěn)定的reward；
• 在評(píng)估階段，它可以選擇更好的sample結(jié)果；
• 單獨(dú)使用時(shí)，它可以直接作為evaluator；
  

而強(qiáng)化學(xué)習(xí)（RL）在理論上能夠?qū)RM引入長(zhǎng)期推理能力，使MRM更加高效。

但如果直接把現(xiàn)有的RL算法（比如Reinforce++）用到訓(xùn)練MRM上，就會(huì)出現(xiàn)很多狀況，比如，訓(xùn)練過(guò)程會(huì)很不穩(wěn)定、甚至可能直接崩掉

現(xiàn)在，來(lái)自中科院自動(dòng)化所、清華大學(xué)、快手和南京大學(xué)的研究團(tuán)隊(duì)，在探索如何利用強(qiáng)化學(xué)習(xí)來(lái)穩(wěn)定、有效地提升多模態(tài)獎(jiǎng)勵(lì)模型的長(zhǎng)時(shí)推理能力方面，取得了新進(jìn)展：

基于多模態(tài)強(qiáng)化學(xué)習(xí)的工作MM-RLHF（ICML 2025），進(jìn)一步推出了R1-Reward模型。

在現(xiàn)有的多模態(tài)獎(jiǎng)勵(lì)模型benchmark的基礎(chǔ)上，相比于當(dāng)前最先進(jìn)的SOTA模型，實(shí)現(xiàn)5%-15%的提升。

且隨著inference sampleing的數(shù)目增多還能進(jìn)一步增長(zhǎng)！

主要貢獻(xiàn)

1. 重新定義問(wèn)題

作者把訓(xùn)練獎(jiǎng)勵(lì)模型這個(gè)問(wèn)題，看成是一個(gè)基于規(guī)則的強(qiáng)化學(xué)習(xí)任務(wù)。簡(jiǎn)單說(shuō)，就是給獎(jiǎng)勵(lì)模型一個(gè)問(wèn)題和兩個(gè)答案，讓它通過(guò)學(xué)習(xí)來(lái)判斷哪個(gè)答案更好，并且能給出合理的分析。

2. 提出新算法StableReinforce

針對(duì)現(xiàn)有RL算法的不足，他們提出了一個(gè)改進(jìn)版的算法叫StableReinforce。這個(gè)算法主要在幾個(gè)方面做了優(yōu)化：

• 改進(jìn)了損失函數(shù)里的裁剪操作，提出了Pre-Clip，防止數(shù)值計(jì)算不穩(wěn)定。
• 提出了一種更穩(wěn)健的優(yōu)勢(shì)值（advantage）處理方法（叫做優(yōu)勢(shì)過(guò)濾器Advantage Filter），不容易被極端值帶偏。
• 設(shè)計(jì)了一個(gè)新穎的“一致性獎(jiǎng)勵(lì)”(Consistency Reward)：它引入了另一個(gè)大模型作為“裁判”，專門檢查獎(jiǎng)勵(lì)模型自己的分析過(guò)程和它最終給出的答案是不是一致的。如果一致，就給獎(jiǎng)勵(lì)，這樣能促使模型做出更符合邏輯的判斷。

3. 漸進(jìn)式的訓(xùn)練策略

• 他們從各種公開數(shù)據(jù)集中收集了20萬(wàn)條偏好數(shù)據(jù)，構(gòu)建了一個(gè)名為R1-Reward-200k的數(shù)據(jù)集用于訓(xùn)練。
• 采用了一種“漸進(jìn)式難度”的訓(xùn)練策略。因?yàn)橹苯佑肦L訓(xùn)練模型效果不好（冷啟動(dòng)問(wèn)題），他們先用GPT-4o對(duì)這些數(shù)據(jù)生成了詳細(xì)的思考過(guò)程，作為監(jiān)督微調(diào)（SFT）的數(shù)據(jù)，讓模型先“入門”。同時(shí)，他們記錄了GPT-4o判斷每個(gè)樣本的難度（需要嘗試幾次才能判斷對(duì)）。
• 在后續(xù)的強(qiáng)化學(xué)習(xí)階段，專門挑選那些GPT-4o都覺(jué)得比較難（需要嘗試多次或者干脆判斷錯(cuò)誤）的樣本進(jìn)行訓(xùn)練，讓模型在難題上得到鍛煉。

4. 效果顯著

• 實(shí)驗(yàn)結(jié)果表明，這個(gè)R1-Reward模型在幾個(gè)主流的多模態(tài)獎(jiǎng)勵(lì)模型測(cè)評(píng)基準(zhǔn)（如VL Reward-Bench,Multimodal Reward Bench）上表現(xiàn)非常出色，顯著超過(guò)了之前的最佳模型(SOTA)。比如在一個(gè)榜單上提升了8.4%，在另一個(gè)榜單上提升了14.3%。
• 更有趣的是，他們發(fā)現(xiàn)通過(guò)在推理時(shí)多做幾次計(jì)算（比如采樣5次或15次，然后投票選最多的答案），R1-Reward的性能還能進(jìn)一步大幅提升，這說(shuō)明RL方法在優(yōu)化獎(jiǎng)勵(lì)模型方面潛力巨大。
• 他們還觀察到，經(jīng)過(guò)StableReinforce的RL訓(xùn)練后，模型輸出的平均長(zhǎng)度減少了大約15%，這意味著模型可能變得更有效率了。

現(xiàn)有強(qiáng)化學(xué)習(xí)方法的局限性

什么是獎(jiǎng)勵(lì)模型

首先得知道，獎(jiǎng)勵(lì)模型（Reward Model）是干嘛的。簡(jiǎn)單說(shuō)，它就是用來(lái)判斷兩個(gè)模型的回答，哪一個(gè)更符合人類喜好。

具體的優(yōu)化公式大概長(zhǎng)這樣：

這里的r(y|x)就是模型打的分?jǐn)?shù)，σ是個(gè)sigmoid函數(shù)，E表示求期望（平均）。意思就是，模型要盡量讓好答案的分比壞答案的分高，差距越大越好，然后通過(guò)log和sigmoid函數(shù)來(lái)計(jì)算損失。

PPO和Reinforce++算法簡(jiǎn)介

PPO(Proximal Policy Optimization)

PPO是一種很常用的強(qiáng)化學(xué)習(xí)算法，屬于策略梯度方法，目標(biāo)是直接優(yōu)化模型（策略）來(lái)獲得最大的累積獎(jiǎng)勵(lì)。它的厲害之處在于——它不像傳統(tǒng)的策略梯度方法那樣，容易因?yàn)椴阶舆~太大而導(dǎo)致訓(xùn)練不穩(wěn)定。

PPO通過(guò)一種特殊的方式來(lái)限制每次策略更新的幅度。它的目標(biāo)函數(shù)是這樣的：

這個(gè)公式的核心思想在于那個(gè)min和clip操作。它確保了就算ratio*A_t（標(biāo)準(zhǔn)的策略梯度目標(biāo)）很大，也會(huì)被clip后的項(xiàng)限制住，防止策略更新過(guò)猛導(dǎo)致訓(xùn)練不穩(wěn)定。

PPO因?yàn)閷?shí)現(xiàn)簡(jiǎn)單、效果好，所以在很多地方（比如機(jī)器人控制、玩游戲）都用得很廣。

Reinforce++

Reinforce++是在PPO基礎(chǔ)上做了一些優(yōu)化的版本，目的是讓訓(xùn)練更穩(wěn)定、更高效。主要改進(jìn)有：

1. 加了KL散度懲罰：在獎(jiǎng)勵(lì)函數(shù)里加入了一項(xiàng)，用來(lái)懲罰強(qiáng)化學(xué)習(xí)模型（RL model）和監(jiān)督微調(diào)模型（SFT model）在每個(gè)詞（token）上的輸出概率分布差異過(guò)大。獎(jiǎng)勵(lì)函數(shù)變成了類似這樣：。這里表示只有在生成結(jié)束符時(shí)才加上原始的任務(wù)獎(jiǎng)勵(lì)，是那個(gè)KL懲罰項(xiàng)。
2. 獎(jiǎng)勵(lì)和優(yōu)勢(shì)的歸一化：它會(huì)對(duì)整個(gè)批次（batch）的獎(jiǎng)勵(lì)進(jìn)行歸一化、裁剪和縮放，還對(duì)優(yōu)勢(shì)值A(chǔ)進(jìn)行歸一化：（減去均值，再除以標(biāo)準(zhǔn)差）。

在很多研究中，Reinforce++都比GRPO更穩(wěn)定、比PPO收斂更快。

PPO/Reinforce++的問(wèn)題在哪？

雖然PPO和Reinforce++不錯(cuò)，但在實(shí)際訓(xùn)練中，尤其是在訓(xùn)練獎(jiǎng)勵(lì)模型的時(shí)候，研究者們發(fā)現(xiàn)它們有兩個(gè)核心問(wèn)題，很容易讓模型訓(xùn)練不穩(wěn)定甚至失敗：

1. 訓(xùn)練損失導(dǎo)致的不穩(wěn)定
2. 計(jì)算PPO損失時(shí)，需要算那個(gè)概率比值ratio。如果新舊策略差別很大，這個(gè)ratio可能會(huì)變得非常大或非常小。
3. 在代碼實(shí)現(xiàn)里（比如用PyTorch），通常是算ratio = torch.exp(log_probs - old_log_probs)。如果log_probs - old_log_probs這個(gè)差值很大，exp()運(yùn)算可能會(huì)導(dǎo)致數(shù)值溢出，直接讓程序崩潰。
4. 就算沒(méi)崩潰，如果算出來(lái)的ratio很大，并且優(yōu)勢(shì)A_t是負(fù)的（表示這個(gè)動(dòng)作不好），那么根據(jù)PPO的損失公式，這個(gè)損失值可能會(huì)變得異常大。這么大的損失會(huì)讓模型的參數(shù)更新變得極其不穩(wěn)定。
5. 優(yōu)勢(shì)歸一化導(dǎo)致的不穩(wěn)定
6. 獎(jiǎng)勵(lì)模型的訓(xùn)練數(shù)據(jù)標(biāo)簽通常很簡(jiǎn)單，比如就兩個(gè)標(biāo)簽：1和2（1好還是2更好）。模型比較容易學(xué)會(huì)區(qū)分。
7. 這就導(dǎo)致在訓(xùn)練后期，一個(gè)批次（batch）里的數(shù)據(jù)，模型可能大部分都能預(yù)測(cè)對(duì)。比如一個(gè)batch里有255個(gè)樣本的真實(shí)獎(jiǎng)勵(lì)是1，只有1個(gè)是0。
8. 在這種情況下，獎(jiǎng)勵(lì)的方差會(huì)非常小。如果這時(shí)候還用標(biāo)準(zhǔn)的優(yōu)勢(shì)歸一化方法（減均值除以標(biāo)準(zhǔn)差），那個(gè)獎(jiǎng)勵(lì)為0的樣本對(duì)應(yīng)的優(yōu)勢(shì)值，在歸一化之后可能會(huì)變成一個(gè)絕對(duì)值非常大的數(shù)（例子中是-15.96）。
9. 這么大的優(yōu)勢(shì)值同樣會(huì)干擾模型的更新，導(dǎo)致訓(xùn)練不穩(wěn)定。

總的來(lái)說(shuō)，就是直接把PPO或者Reinforce++用在獎(jiǎng)勵(lì)模型訓(xùn)練上，會(huì)因?yàn)閾p失計(jì)算和優(yōu)勢(shì)歸一化這兩個(gè)環(huán)節(jié)內(nèi)在的問(wèn)題，在高效率訓(xùn)練或者訓(xùn)練后期特定數(shù)據(jù)分布下，引發(fā)數(shù)值不穩(wěn)定，最終影響模型效果。

StableReinforce提升訓(xùn)練穩(wěn)定性

1.Pre-CLIP策略

為了減小大比例差異的影響，Pre-CLIP策略會(huì)在計(jì)算對(duì)數(shù)概率的指數(shù)值之前對(duì)比例進(jìn)行裁剪。通過(guò)在應(yīng)用指數(shù)函數(shù)前裁剪log-πθ/πθold的比例，可以避免由于比例差異過(guò)大而導(dǎo)致的溢出問(wèn)題，并緩解負(fù)優(yōu)勢(shì)情況下的大對(duì)數(shù)差異。裁剪后的公式為：

其中，

分別為允許的最小和最大比例限制（上面的偽代碼會(huì)更清晰一些（algorithm 1））。

2.Advantage Filter策略

為了避免由于優(yōu)勢(shì)分布的極端不平衡對(duì)訓(xùn)練帶來(lái)的影響，文章采用了3-sigma規(guī)則（即保留標(biāo)準(zhǔn)化優(yōu)勢(shì)在[-3, 3]范圍內(nèi)的樣本）。公式為：

標(biāo)準(zhǔn)化后的優(yōu)勢(shì)

通過(guò)公式

計(jì)算，其中

分別為優(yōu)勢(shì)分布的均值和標(biāo)準(zhǔn)差。

結(jié)合了Pre-CLIP和優(yōu)勢(shì)過(guò)濾器，最終用來(lái)優(yōu)化的目標(biāo)函數(shù)長(zhǎng)得有點(diǎn)像常用的PPO算法的目標(biāo)函數(shù)，但有所修改：

R1-Reward

將MRM轉(zhuǎn)化為強(qiáng)化學(xué)習(xí)問(wèn)題

首先使用下面的prompt，將獎(jiǎng)勵(lì)建模問(wèn)題轉(zhuǎn)化為rule-based的強(qiáng)化學(xué)習(xí)問(wèn)題：

近期follow deepseek-r1工作的方法基本上都是格式獎(jiǎng)勵(lì)+結(jié)果獎(jiǎng)勵(lì)，但是在獎(jiǎng)勵(lì)模型訓(xùn)練過(guò)程中，這存在著一致性問(wèn)題：即只用上面兩個(gè)獎(jiǎng)勵(lì)時(shí)，模型有時(shí)會(huì)“精神分裂”：

分析部分（

）明明說(shuō)回答2更好，但最后卻輸出。因此本文引入了一個(gè)額外的“裁判”模型（文中用了Qwen2.5-VL-7B-Instruct）。這個(gè)裁判專門負(fù)責(zé)檢查獎(jiǎng)勵(lì)模型自己輸出的分析內(nèi)容，看它是不是真的支持最終給出的那個(gè)答案。

獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)：文章提出了三種獎(jiǎng)勵(lì)函數(shù)

1. 格式獎(jiǎng)勵(lì)：要求模型的輸出符合指定的格式，即‘ ’，鼓勵(lì)模型在給出最終答案之前先進(jìn)行推理，以提高內(nèi)容的質(zhì)量和可解釋性。
2. 結(jié)果獎(jiǎng)勵(lì)：模型最終生成的答案必須與人類專家的偏好一致。
3. 一致性獎(jiǎng)勵(lì)：確保推理過(guò)程與最終答案一致，即模型的最終結(jié)果應(yīng)當(dāng)直接源自其推理過(guò)程，而不是與推理步驟無(wú)關(guān)的生成內(nèi)容。
4. 最終獎(jiǎng)勵(lì)計(jì)算：為了解決可能出現(xiàn)的一致性獎(jiǎng)勵(lì)過(guò)度偏重的問(wèn)題，最終的獎(jiǎng)勵(lì)計(jì)算公式為：

這樣的設(shè)計(jì)好在Consistency Reward的加成效果（乘以0.5再加1）只有在Result Reward大于0（也就是答案選對(duì)）的時(shí)候才能真正起作用。如果答案選錯(cuò)了，Result Reward通常是0或者負(fù)數(shù)，那么一致性獎(jiǎng)勵(lì)就不會(huì)帶來(lái)正向激勵(lì)（或者激勵(lì)很小），從而確保模型首要目標(biāo)還是把答案選對(duì)。格式獎(jiǎng)勵(lì)作為一個(gè)基礎(chǔ)分被加上去。

“長(zhǎng)思考鏈”的冷啟動(dòng)問(wèn)題(Long-CoT Cold Start)

多模態(tài)大模型（MLLMs）本身并不是為做獎(jiǎng)勵(lì)模型這種“評(píng)價(jià)比較”任務(wù)而設(shè)計(jì)的，所以直接用強(qiáng)化學(xué)習(xí)去訓(xùn)練它們，效果通常很差而且不穩(wěn)定，因此本文先進(jìn)行了一輪監(jiān)督微調(diào)。

做法：讓GPT-4o對(duì)R1-Reward-200k數(shù)據(jù)集里的每一條數(shù)據(jù)，都按照Table 1里的提示模板，生成標(biāo)準(zhǔn)的“分析過(guò)程”和“最終答案”。生成時(shí)設(shè)置temperature=1（讓輸出更發(fā)散），并且最多嘗試3次，直到生成的答案和真實(shí)標(biāo)簽一致。

記錄難度：同時(shí)，他們還記錄了GPT-4o需要嘗試幾次才能生成正確答案，把這個(gè)次數(shù)作為樣本“難度”的指標(biāo)。

目的：這個(gè)SFT階段就像是給模型“預(yù)習(xí)”。通過(guò)模仿GPT-4o的輸出，先讓模型學(xué)會(huì)任務(wù)的基本格式和流程，熟悉這個(gè)獎(jiǎng)勵(lì)建模任務(wù)應(yīng)該怎么做。

強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練數(shù)據(jù)的篩選

1. 篩選標(biāo)準(zhǔn)：在進(jìn)行真正的強(qiáng)化學(xué)習(xí)訓(xùn)練時(shí)，并不是用SFT階段的所有數(shù)據(jù)。研究人員專門挑選了那些被認(rèn)為是“更難”的樣本。
2. 具體來(lái)源
3. 在SFT階段，那些GPT-4o需要嘗試2次或3次才能給出正確答案的樣本。
4. 以及那些GPT-4o嘗試了3次仍然沒(méi)能給出正確答案的樣本。

研究人員認(rèn)為，這些樣本通常意味著兩個(gè)回答之間的差別更小，更難判斷優(yōu)劣。用這些“硬骨頭”來(lái)訓(xùn)練模型進(jìn)行強(qiáng)化學(xué)習(xí)，可以更有效地提升模型辨別細(xì)微差異的能力。

有趣的實(shí)驗(yàn)發(fā)現(xiàn)

研究人員通過(guò)一系列實(shí)驗(yàn)來(lái)驗(yàn)證他們提出的R1-Reward模型和StableReinforce算法的效果，得到了一些挺有意思的結(jié)果：

R1-Reward效果拔群

在好幾個(gè)主流的多模態(tài)獎(jiǎng)勵(lì)模型排行榜（比如VLReward Bench, Multimodal Reward Bench, MM-RLHF-Reward Bench）上，R1-Reward的表現(xiàn)都非常亮眼，平均準(zhǔn)確率顯著超過(guò)了之前最好的開源模型（比如IXC-2.5-Reward）。

Test-Time Scaling

他們嘗試在評(píng)價(jià)的時(shí)候，讓R1-Reward模型對(duì)同一個(gè)問(wèn)題輸出好幾個(gè)判斷結(jié)果（比如輸出5次或15次），然后采取少數(shù)服從多數(shù)（投票）的方式來(lái)決定最終哪個(gè)答案更好。

結(jié)果發(fā)現(xiàn)，這種簡(jiǎn)單的“投票”策略能大幅提升R1-Reward的準(zhǔn)確率。比如在MM-RLHF這個(gè)比較難的榜單上，投票5次就能把準(zhǔn)確率從大約71%提升到85.3%，投票15次更是達(dá)到86.47%，遠(yuǎn)超其他模型。

更有意思的是，他們還試了另一種策略叫“Any Correct”，就是只要模型輸出的K次結(jié)果里有一次是正確的，就算對(duì)。結(jié)果發(fā)現(xiàn)，當(dāng)K=15時(shí)，這種策略的準(zhǔn)確率幾乎接近100%！這暗示R1-Reward其實(shí)有潛力完美區(qū)分所有樣本，只是需要更多的數(shù)據(jù)或更好的訓(xùn)練策略來(lái)完全激發(fā)出來(lái)。

aha Moment

通過(guò)SFT和RL訓(xùn)練，R1-Reward不僅學(xué)會(huì)了如何評(píng)價(jià)兩個(gè)回答，還自主地學(xué)習(xí)到了一套分析流程：先明確目標(biāo)、分析圖像、嘗試解決問(wèn)題、給出答案，然后基于這個(gè)過(guò)程去評(píng)價(jià)兩個(gè)外部給定的回答。

更有趣的是，模型展示出了類似人類的反思和糾錯(cuò)能力。比如在上圖中，模型自己計(jì)算時(shí)出錯(cuò)了，但在檢查圖表后，意識(shí)到了錯(cuò)誤并重新計(jì)算得到了正確結(jié)果。這說(shuō)明模型不僅僅是在模仿，還在學(xué)習(xí)某種程度的自我檢查和修正機(jī)制。

經(jīng)過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練后，模型輸出的分析內(nèi)容的平均長(zhǎng)度還減少了約15%，說(shuō)明模型可能變得更“言簡(jiǎn)意賅”，推理效率提高了。

結(jié)論

本文介紹了R1-Reward，這是一種使用StableReinforce算法訓(xùn)練的多模態(tài)獎(jiǎng)勵(lì)模型（MRM）。通過(guò)實(shí)驗(yàn)，本文證明了強(qiáng)化學(xué)習(xí)（RL）在獎(jiǎng)勵(lì)建模中的有效應(yīng)用，顯著提升了模型的表現(xiàn)。R1-Reward解決了多個(gè)關(guān)鍵問(wèn)題，包括訓(xùn)練不穩(wěn)定、優(yōu)勢(shì)歸一化限制以及推理和結(jié)果之間的不一致性。通過(guò)引入Pre-Clipping、優(yōu)勢(shì)過(guò)濾、一致性獎(jiǎng)勵(lì)以及漸進(jìn)式訓(xùn)練策略，StableReinforce算法有效穩(wěn)定了訓(xùn)練過(guò)程并提升了模型性能。

實(shí)驗(yàn)結(jié)果表明，R1-Reward在多個(gè)多模態(tài)獎(jiǎng)勵(lì)模型基準(zhǔn)上超越了現(xiàn)有最先進(jìn)的模型（SOTA），在準(zhǔn)確率和數(shù)據(jù)效率方面取得了顯著進(jìn)展。此外，R1-Reward還展示了優(yōu)秀的推理時(shí)擴(kuò)展能力，為未來(lái)將強(qiáng)化學(xué)習(xí)融入多模態(tài)獎(jiǎng)勵(lì)模型（MRM）的研究奠定了基礎(chǔ)。

展望未來(lái)，RL在獎(jiǎng)勵(lì)建模中的應(yīng)用仍有許多值得探索的方向。例如，本文僅測(cè)試了簡(jiǎn)單的多數(shù)投票策略用于推理時(shí)擴(kuò)展，未來(lái)可能通過(guò)更先進(jìn)的方法進(jìn)一步提升性能。此外，改進(jìn)訓(xùn)練策略以進(jìn)一步增強(qiáng)獎(jiǎng)勵(lì)模型的基礎(chǔ)能力，也是一個(gè)有意義的開放性問(wèn)題。

論文鏈接：
https://arxiv.org/abs/2505.02835
https://github.com/yfzhang114/r1_reward
https://huggingface.co/yifanzhang114/R1-Reward

— 完 —