99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

4B小模型數學推理首超Claude 4,700步RL訓練逼近235B性能

0
分享至

Polaris團隊 投稿
量子位 | 公眾號 QbitAI

4B模型的數學推理能力和頂尖商業大模型差在哪里?

香港大學NLP團隊聯合字節跳動Seed、復旦大學發布名為Polaris的強化學習訓練配方:

通過Scaling RL,Polaris讓4B模型的數學推理能力(AIME25上取得79.4,AIME24上取得81.2)超越了一眾商業大模型,如Seed-1.5-thinking、Claude-4-Opus和o3-mini-high(25/01/31)。

并且,Polaris-4B的輕量化允許在消費級顯卡上部署。



詳細的blog、訓練數據、模型和代碼都已全部開源,鏈接可見文末。

圍繞待訓練模型進行參數配置

之前的RL訓練配方,如DeepScaleR,已經展示了Scaling RL在較弱基模型上強大的效果。

但對于目前最前沿的開源模型(如Qwen3),Scaling RL是否也能復現如此顯著的提升呢?

Polaris的研究團隊給出了明確回答:可以!

具體來說,Polaris通過僅僅700步的RL訓練,成功地讓Qwen3-4B在數學推理任務上接近了其235B版本的表現。

只要方法得當,RL還存在著巨大的開發潛力。

Polaris的成功的秘籍就是:訓練數據及超參數設置都要圍繞待訓練的模型來進行設置

訓練數據構造

Polaris團隊發現,對于同一份數據,不同能力的基模型展現出的難度分布呈現出鏡像化的特征。、

對于DeepScaleR-40K訓練集中的每個樣本,研究人員使用R1-Distill-Qwen-1.5B/7B兩個模型回答分別推理了8次,再統計其中正確次數,以此衡量每個樣本的難度水平。



實驗結果顯示,大多數樣本位于兩端(8/8正確解答或0/8正確解答),意味著該數據集雖然對1.5B模型具有挑戰性,卻不足以有效訓練7B模型。

Polaris提出,構建輕微偏向難題的數據分布,形狀就像鏡像J,過度偏向簡單題或難題的分布都會使得無法產生優勢的樣本在每個batch中占有過大的比例。

Polaris對開源數據DeepScale-40K和AReaL-boba-106k進行了篩選,剔除所有8/8正確的樣本,最終形成了53K的初始化數據集。



盡管已經得到了一個好的初始化數據,但它并不是訓練數據的“最終版本”。

在強化學習訓練過程中,隨著模型對訓練樣本的“掌握率”提高,難題也會變成簡單題。

為此,研究團隊在訓練中引入了數據動態更新策略。訓練過程中,每個樣本的通過率會隨著reward計算而實時更新。在每個訓練階段結束時,準確率過高的樣本將被刪除。

以多樣性為核心的采樣控制

在RL訓練中,多樣性被視為提升模型表現的重要因素。好的多樣性使模型能探索更廣泛的推理路徑,避免在訓練早期陷入過于確定的策略中。

Rollout階段的多樣性主要通過topp、topk與溫度t來調控。當前大多數工作都采用topp=1.0和topk=-1,這已經達到了最大的多樣性,但采樣溫度t還沒有統一的設置。

目前主流的t的設置方法有兩種:1、采用建議的解碼溫度,如Qwen3 demo中設置的0.6;2、直接設置為一個整數1.0。

但這兩種做法在Polaris的實驗中都不是最優解。

溫度、性能與多樣性的平衡之道



Polaris團隊通過一系列試驗,分析了采樣溫度與模型準確率及路徑多樣性之間的關系。

為了量化采樣軌跡的多樣性,他們采用Distinct N-gram指標(n=4)用于衡量生成文本中獨特連續詞組的比例:分數越接近1.0,說明生成內容越多樣;反之則重復率較高。

結果顯示,較高的溫度能顯著提升多樣性,但不同模型在相同溫度下的表現也存在較大差異。從上圖來看,對于這兩個模型來說,以0.6作為采樣溫度明顯多樣性是不足的。



但也并非是把溫度設的越大就越好,也需要考慮性能的變化

Polaris團隊發現模型性能隨溫度升高呈現“低-高-低”的趨勢。例如,把采樣溫度設置成1.0,對于Deepseek-R1-distill系列模型過高了,而對于Qwen3系列來說又有點低。

說明理想溫度的設計需要針對待模型進行精細校準,沒有一個超參數是適配所有模型的。

溫度區間的定義



Polaris團隊基于實驗趨勢歸納出模型采樣溫度的三個區域:

  • 1.魯棒生成區(Robust Generation Zone)
  • 在該區域內,性能波動較小。測試階段解碼溫度通常就選自魯棒生成區。
  • 2.控制探索區(Controlled Exploration Zone)
  • 此區域的溫度雖然會導致模型性能較魯棒生成區略有下降,但降幅在可接受范圍內,同時能顯著提升多樣性,適合作為訓練溫度使用。
  • 3.性能崩塌區(Performance Collapse Zone)
  • 當采樣溫度超出一定范圍時,性能急劇下降。

根據上圖規律,Polaris團隊提出以控制探索區的溫度作為初始化溫度。



實驗顯示,常用的t=0.6或t=1.0的設置溫度過低,限制了模型的探索空間,導致難以挖掘RL潛力。

因此,Polaris把Qwen3-4B的初始訓練溫度設置為1.4。

動態溫度調整



在性能增長的同時,多樣性同樣也會發生偏移。隨著訓練收斂,各路徑間共享的N-gram比例增加,探索空間也隨之縮小。

在整個訓練過程中始終使用最開始的溫度,會導致訓練后期多樣性不足。

因此,Polaris團隊提出在RL訓練過程中動態更新采樣溫度的策略:在每個階段開始前都進行和溫度初始化時類似的搜索方法,使得后續階段起始的多樣性分數和第一階段的相似。

舉個例子,假如第一階段開始的多樣性分數是60,那此后的每個階段,Polaris團隊都會選擇一個能把多樣性分數拉到60的溫度來進行訓練。



對比實驗的結果顯示,采用同一溫度訓練到結束,其效果不及多階段溫度調整。

多階段溫度調整不僅帶來了更優的RL訓練效果,還使得回答長度的提升更加穩定。

思維鏈長度外推

在訓練Qwen3-4B的過程中,一個顯著難題在于長上下文訓練,因為模型本身的回答長度就已經非常長了,要繼續訓練的更長需要更高昂的計算代價。

Qwen3-4B的模型預訓練上下文長度僅有32K,而RL階段Polaris將最大訓練長設定為52K。但實際達到最大序列長度的訓練樣本比例不足10%,意味著真正使用長文本進行訓練的樣本非常有限。



為評估Polaris-4B-Preview的長文生成能力,Polaris究團隊選取了AIME2024/25中的60題,每題進行32次推理,總計1920個樣本,并按照回答長度將其分為三組:

  • 短文本組:回答長度小于16K;
  • 中等文本組:回答長度介于16K到32K;
  • 長文本組:回答長度超過預訓練長度32K。

統計結果表明,長文本組的準確率僅為26%,證明模型在生成超過預訓練長度的長CoT時,性能明顯受限。

既然RL在長上下文長度的時候具備劣勢,那么長CoT性能不佳可能是由于長文本訓練不充分導致。

針對長文本訓練樣本不足的問題,團隊引入了長度外推技術。通過位置編碼RoPE的調整,模型能夠在推理時處理超出訓練時所見的更長序列,進而補償長文本訓練中的不足。

具體實現上,研究團隊采用了YaRN作為外推方法,并設置擴展因子為1.5,如下配置所示:



實驗結果顯示,通過應用該策略,超過32K長度回答的準確率由26%提升至超過50%



多階段訓練



Polaris采用多階段的訓練方式,在早期階段,模型使用較短的上下文窗口;待模型表現收斂后,再逐漸增加上下文窗口的長度以拓寬模型的推理能力。

盡管這一策略在某些模型下有效,但在多階段訓練中,初始階段選擇合適的最大長度至關重要,不同基礎模型token利用效率存在差異。



實驗發現,對于DeepSeek-R1-Distill-Qwen-1.5B/7B,采用較短的響應長度訓練效果都較好;但對Qwen3-4B來說,即使響應長度只有24K且響應截斷比例低于15%,其性能也會急劇下降,這種下降即使在后期階段也難以恢復。



通常來說,從一開始就讓模型“思考更長”會更安全:對于Qwen3-4B,實驗觀察到從零開始使用40K響應長度時性能穩步提升,這與從一開始就采用24K和24K→40K的方案形成了鮮明對比。

要點:當計算資源允許時,直接從官方倉庫建議的最大解碼長度開始

評估結果



Polaris模型需要使用比Qwen3更高的采樣溫度和更長的響應長度;所有其他設置保持相同。

對于AIME24和AIME25,上表報告了32次運行的平均性能。

可以看到,Polaris讓4B模型的數學推理能力(AIME25上取得79.4,AIME24上取得81.2)超越了一眾商業大模型,在大多數評測中表現最佳。

notion地址: https://honorable-payment-890.notion.site/POLARIS-A-POst-training-recipe-for-scaling-reinforcement-Learning-on-Advanced-ReasonIng-modelS-1dfa954ff7c38094923ec7772bf447a1
blog 地址: https://hkunlp.github.io/blog/2025/Polaris/
代碼: https://github.com/ChenxinAn-fdu/POLARIS
Huggingface主頁: https://huggingface.co/POLARIS-Project

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
溫網大冷!阿尼西莫娃2-1薩巴倫卡,首進大滿貫決賽,獎金1484萬

溫網大冷!阿尼西莫娃2-1薩巴倫卡,首進大滿貫決賽,獎金1484萬

侃球熊弟
2025-07-10 21:40:00
小波特:得知交易時我在飛機上 剛開始知道被交易至籃網有點震驚

小波特:得知交易時我在飛機上 剛開始知道被交易至籃網有點震驚

直播吧
2025-07-10 22:15:26
字母哥哥談KD被交易到火箭:這可能是他被交易到過的最強球隊

字母哥哥談KD被交易到火箭:這可能是他被交易到過的最強球隊

直播吧
2025-07-10 20:29:39
單打聯盟第一,年薪5570萬!2年1.2億合同成奢望,你又變成了配角

單打聯盟第一,年薪5570萬!2年1.2億合同成奢望,你又變成了配角

老梁體育漫談
2025-07-11 00:56:35
2025養老金調整方案,上調2%,調整公式,2000和6000元上漲差多少

2025養老金調整方案,上調2%,調整公式,2000和6000元上漲差多少

興史興談
2025-07-10 16:35:54
她才是娛樂圈公認的大美女:已經39歲了,但顏值高過好多年輕女星

她才是娛樂圈公認的大美女:已經39歲了,但顏值高過好多年輕女星

逍遙史記
2025-06-13 15:42:40
民企老板被錯關212天:申請千萬元國家賠償,法院決定賠償十五萬

民企老板被錯關212天:申請千萬元國家賠償,法院決定賠償十五萬

澎湃新聞
2025-07-10 17:36:26
楊少華并非午休時去世!真實死因曝光更引眾怒,家屬呼吁不要網暴

楊少華并非午休時去世!真實死因曝光更引眾怒,家屬呼吁不要網暴

小咪侃娛圈
2025-07-10 09:09:02
2025暑期保護月取消,國產片3連撲,觀眾集體倒戈,進口片殺瘋了

2025暑期保護月取消,國產片3連撲,觀眾集體倒戈,進口片殺瘋了

電影票房預告片
2025-07-10 15:57:21
性成癮的10項指標,你中了幾條?

性成癮的10項指標,你中了幾條?

性學研究僧
2025-07-10 21:06:12
女排世聯賽!日本3-0殺進總決賽,兩新秀齊爆發,巴西丟分掉榜首

女排世聯賽!日本3-0殺進總決賽,兩新秀齊爆發,巴西丟分掉榜首

知軒體育
2025-07-11 01:09:27
楊少華送路儀式:楊議被抬出靈堂、疑似哭暈,送行隊伍聲勢浩大

楊少華送路儀式:楊議被抬出靈堂、疑似哭暈,送行隊伍聲勢浩大

陳意小可愛
2025-07-11 01:39:30
德州通報看守所在押人員死亡事件:未發現毆打、體罰等情況,符合因疾病致死特征

德州通報看守所在押人員死亡事件:未發現毆打、體罰等情況,符合因疾病致死特征

界面新聞
2025-07-10 19:56:55
聯合國關注甘肅幼兒鉛中毒事件:贊賞中國政府有關部門反應迅速

聯合國關注甘肅幼兒鉛中毒事件:贊賞中國政府有關部門反應迅速

西游日記
2025-07-10 10:27:18
世界第1出局阿尼西莫娃2-1力克薩巴倫卡,生涯首進溫網決賽

世界第1出局阿尼西莫娃2-1力克薩巴倫卡,生涯首進溫網決賽

直播吧
2025-07-10 23:19:05
太狠了!中國男子柬埔寨遭同胞虐殺,脖子骨折,生殖器都被切斷

太狠了!中國男子柬埔寨遭同胞虐殺,脖子骨折,生殖器都被切斷

派大星紀錄片
2025-07-10 15:59:07
吃相太難看!這一次,蒙嘉慧也救不了演唱會“劃水擺爛”的鄭伊健

吃相太難看!這一次,蒙嘉慧也救不了演唱會“劃水擺爛”的鄭伊健

頭號劇委會
2025-07-09 23:57:12
全國普及率僅5%,空調又不是什么高科技產品,為何印度造不出來?

全國普及率僅5%,空調又不是什么高科技產品,為何印度造不出來?

北緯的咖啡豆
2025-07-10 08:23:45
被指行李過多?國足官方回應:為此向公眾介紹一些基本信息和常識

被指行李過多?國足官方回應:為此向公眾介紹一些基本信息和常識

直播吧
2025-07-10 21:10:48
網傳女獸醫強奸男律師,流著大姨媽也要做,男律師身上全是證據

網傳女獸醫強奸男律師,流著大姨媽也要做,男律師身上全是證據

社會醬
2025-07-09 17:55:25
2025-07-11 02:48:49
量子位 incentive-icons
量子位
追蹤人工智能動態
10835文章數 176183關注度
往期回顧 全部

科技要聞

Grok4最貴訂閱月費2千,會不會三觀不正?

頭條要聞

退休人員基本養老金為何上調2% 人社部發文回應

頭條要聞

退休人員基本養老金為何上調2% 人社部發文回應

體育要聞

白衣生涯最后一舞,但魔笛的故事還沒結束

娛樂要聞

宋佳,真的好叛逆!

財經要聞

潮玩規模破千億的幕后故事

汽車要聞

靠譜奶爸的底氣 樂道L90靜態體驗

態度原創

家居
數碼
本地
房產
教育

家居要聞

美式簡約 奢華不失優雅

數碼要聞

炎炎夏日, “瓶蓋散熱法”在新本上失效了?

本地新聞

換個城市過夏天 | 楓葉之都的22℃清涼秘境

房產要聞

重磅!招商+平安出手,拿下海南440畝灣區大盤!

教育要聞

勸退:中外合作辦學坑太多,不是所有的學校都叫西浦&寧諾

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 犍为县| 和平县| 灵宝市| 五河县| 工布江达县| 渑池县| 彭泽县| 江津市| 乐安县| 府谷县| 泸州市| 浦城县| 皋兰县| 南江县| 宁陕县| 宁国市| 乌兰察布市| 义马市| 梓潼县| 沐川县| 渑池县| 寻甸| 忻城县| 龙胜| 杂多县| 湖州市| 五寨县| 梁平县| 浦县| 天津市| 太白县| 泗阳县| 高安市| 丹棱县| 义马市| 田林县| 霍城县| 泸水县| 凤台县| 景宁| 盖州市|