99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

中國聯通對DeepSeek系列思維鏈模型進行“自適應慢思考”優(yōu)化升級

0
分享至


日前,DeepSeek團隊宣布將在“2月27日至3月3日”陸續(xù)開源5個代碼庫,這與中國聯通一直秉持的開源普惠理念不謀而合。繼中國聯通于1月開源元景“自適應慢思考”思維鏈大模型后,又針對DeepSeek系列模型進行了“自適應慢思考”優(yōu)化升級,現已開源,開源地址詳見文末。這也是目前業(yè)界首個對DeepSeek系列思維鏈模型做“自適應慢思考”優(yōu)化升級的工作。



DeepSeek官宣開源周

“以我為主,為我所用”的開放創(chuàng)新

元景思維鏈大模型具備多學科、多場景通用推理能力,且能在確保慢思考能力不打折的情況下,做到針對不同任務和難度的自適應慢思考,大幅降低了資源消耗,實現了大模型“慢思考”能力高性價比落地應用。

元景思維鏈大模型接入DeepSeek-R1并非簡單的“拿來主義”,而是“從其善,優(yōu)其不善”,對DeepSeek-R1版本進行了調整,最大程度規(guī)避了其面對簡單問題“過度思考”的現象,使模型具備了“自適應”能力。即在面向難度較高問題時使用慢思考模式生成長思維鏈,面向簡單問題時則傾向于生成簡潔的思維鏈,迅速準確的輸出相關答案。這樣避免了答案的冗余、資源的浪費以及減少用戶等待時間,提升用戶體驗。

調整步驟完整分享

難度自適應微調:為實現模型推理的難度自適應,中國聯通利用DeepSeek-R1滿血版模型采樣生成數據,通過復雜度量化模塊構造長度偏好數據集,對于簡單問題從采樣答案中挑選長度較短的答案,對困難問題挑選長度較長的答案,使得答案長度與當前問題復雜度相匹配。在此基礎上對DeepSeek-R1進行微調,使得微調后的模型具備對不同難度題目的自適應慢思考能力。具體改造流程如下圖所示。



自適應慢思考的DeepSeek-R1滿血版模型訓練流程圖

二次蒸餾:針對DeepSeek-R1的系列蒸餾模型,由于其使用的蒸餾數據來自訓練滿血版R1時使用的訓練數據,而非由性能更好的R1滿血版自身生成的數據,這會導致得到的蒸餾模型未能充分學習R1滿血版的能力,蒸餾效果大打折扣。為解決這個問題,中國聯通使用了二次蒸餾的策略,即利用DeepSeek-R1滿血版將已積累的高質量數據轉化為包括深度思考過程的長思維鏈格式數據,在DeepSeek-R1蒸餾系列模型基礎上再進行一次微調,使模型具備更強的推理能力。

難度自適應強化學習:在對模型進行二次蒸餾后,中國聯通進一步借鑒DeepSeek-R1的構建思路,在GRPO算法基礎上提出了一種難度自適應強化學習算法DA-GRPO(Difficulty Adaptive GRPO),對二次蒸餾模型進行難度自適應的強化學習訓練,進一步提升其推理效果。除了使用傳統(tǒng)的基于規(guī)則的正確性獎勵、格式獎勵、語言一致性獎勵外,DA-GRPO還基于每個問題的復雜程度和生成答案的長度對獎勵得分進行校準。具體而言,如果模型對一個簡單問題輸出較長的答案,則對獎勵分數進行相應的懲罰。同時,若模型對困難的問題輸出較長的答案,則給予其更高的獎勵分數,以鼓勵其進行更充分的思考。這樣,通過提高樣本答案獎勵得分的區(qū)分度,使模型具備根據問題難度輸出相應長度答案的能力,在保證推理準確率的前提下顯著減少了答案冗余和資源消耗,從而實現對不同難度問題的自適應慢思考。



自適應慢思考的DeepSeek-R1蒸餾版模型訓練流程圖

推理計算量節(jié)省約30%!實測效果對比一覽

中國聯通以DeepSeek-R1-distill-32B模型為例,對上述方法的效果進行了驗證。通過在數學任務測評集(MATH500)上對比以及具體實驗可以看到,經過難度自適應改造后的模型在不同難度等級問題上生成的回答長度較原版均明顯下降,并且對于最高難度(Level 5)輸出的回答長度降幅最大,體現了模型對不同難度等級問題具備自適應慢思考能力。經過測評,這種創(chuàng)新的自適應慢思考方法,平均可節(jié)省約30%的推理計算量,冗余輸出大幅減少,用戶體驗得到有效提升。



回答長度對比:原版DeepSeek-R1-distill-32B(淺藍)vs自適應版(深藍)



除了通過對DeepSeek-R1模型進行自適應慢思考優(yōu)化升級外,中國聯通還在緊鑼密鼓推進對DeepSeek-R1系列模型的能力邊界量化和安全價值觀增強等相關工作的探索。未來,中國聯通將持續(xù)與以DeepSeek為代表的先進開源模型深度融合,不斷升級元景基礎模型能力和MaaS平臺功能,貫徹開源普惠理念,推進算力普惠、模型普惠、應用普惠,以先進數智水平賦能社會千行百業(yè)。

目前,自適應慢思考版的DeepSeek-R1-distill-32B已在GitHub、魔搭、始智等社區(qū)全面開源,地址如下:

GitHub:https://github.com/UnicomAI/Unichat-DeepSeek-R1-distill-32B

魔搭:https://www.modelscope.cn/UnicomAI/Unichat-DeepSeek-R1-distill-32B

始智:https://wisemodel.cn/models/UnicomLLM/Unichat-DeepSeek-R1-distill-32B

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
警方出手!一張截圖讓廣東人失眠,造謠者下場來了,最新處罰曝光

警方出手!一張截圖讓廣東人失眠,造謠者下場來了,最新處罰曝光

阿綏談史
2025-07-11 14:40:45
43歲關凌又胖了大腦門禿頭,兒子跟她拍照不耐煩,被曝私下愛顯擺

43歲關凌又胖了大腦門禿頭,兒子跟她拍照不耐煩,被曝私下愛顯擺

一娛三分地
2025-07-07 19:49:42
遭父親連開5槍,25歲印度女網球手殞命家中 其父供稱被嘲笑靠女兒養(yǎng)尊嚴受損

遭父親連開5槍,25歲印度女網球手殞命家中 其父供稱被嘲笑靠女兒養(yǎng)尊嚴受損

紅星新聞
2025-07-11 18:51:41
云南大學2025屆研究生綜合就業(yè)率僅21.21% 還在考上大學自喜嗎?

云南大學2025屆研究生綜合就業(yè)率僅21.21% 還在考上大學自喜嗎?

易觀彩云之南
2025-07-11 17:30:03
大瓜!李天一豪賭輸千萬,夢鴿被限制出境,84歲李雙江被坑慘了?

大瓜!李天一豪賭輸千萬,夢鴿被限制出境,84歲李雙江被坑慘了?

壹月情感
2025-07-01 21:52:02
600公里時速超導電動高速磁浮列車亮相:具備全自動駕駛功能

600公里時速超導電動高速磁浮列車亮相:具備全自動駕駛功能

澎湃新聞
2025-07-11 07:46:35
懸賞2000萬找山西前首富!李兆會消失7年,大數據都不知他在哪

懸賞2000萬找山西前首富!李兆會消失7年,大數據都不知他在哪

面包夾知識
2025-06-17 21:00:21
HWG!羅馬諾:前利物浦隊長亨德森加盟布倫特福德,將簽約2年

HWG!羅馬諾:前利物浦隊長亨德森加盟布倫特福德,將簽約2年

直播吧
2025-07-11 19:40:06
好人好報!玉米阿姨勇救女大學生,央視發(fā)文后,喜訊接二連三傳來

好人好報!玉米阿姨勇救女大學生,央視發(fā)文后,喜訊接二連三傳來

春序娛樂
2025-07-11 09:44:01
大陸港臺新加坡,五版任盈盈PK,真是難以取舍

大陸港臺新加坡,五版任盈盈PK,真是難以取舍

小李大俠
2025-07-11 15:16:59
石破茂的一碗“加肉拉面”:為何讓日本民眾氣炸了鍋?

石破茂的一碗“加肉拉面”:為何讓日本民眾氣炸了鍋?

湊近看世界
2025-07-11 13:17:44
炸裂!被按摩師脫內褲摸隱私部位30分鐘,女子回家之后才報警

炸裂!被按摩師脫內褲摸隱私部位30分鐘,女子回家之后才報警

蝴蝶花雨話教育
2025-05-07 04:40:03
為什么說對大自然要保持敬畏之心,看完網友的各種分享,讓人后怕

為什么說對大自然要保持敬畏之心,看完網友的各種分享,讓人后怕

熱鬧的河馬
2024-11-01 14:00:16
男女一旦發(fā)生關系后,還能做朋友嗎?

男女一旦發(fā)生關系后,還能做朋友嗎?

隨風飄揚兮
2025-07-10 12:30:09
狀元郎夏聯首秀拉胯!弗拉格21中5自評生涯最爛,唯獨一點閃光

狀元郎夏聯首秀拉胯!弗拉格21中5自評生涯最爛,唯獨一點閃光

夜白侃球
2025-07-11 22:59:39
記者:巴薩與民主剛果深入商談贊助事宜,三年贊助費接近3000萬歐

記者:巴薩與民主剛果深入商談贊助事宜,三年贊助費接近3000萬歐

直播吧
2025-07-11 18:05:23
2025殯葬大變局!從農村到全國,這項改革為何突然擴大范圍?

2025殯葬大變局!從農村到全國,這項改革為何突然擴大范圍?

好賢觀史記
2025-07-06 22:26:34
50歲林志穎現狀:變化好大有點不敢認,鼻子圓潤還撞臉蘇醒

50歲林志穎現狀:變化好大有點不敢認,鼻子圓潤還撞臉蘇醒

無處不風景l(fā)ove
2025-07-11 13:43:11
美國的簽證秒過是一種什么體驗?網友:都是經驗之談,很實用啊

美國的簽證秒過是一種什么體驗?網友:都是經驗之談,很實用啊

娛樂圈人物大賞
2025-06-02 00:05:21
日本人為什么偏要睡在地上,而不是睡床上?這下終于明白了!

日本人為什么偏要睡在地上,而不是睡床上?這下終于明白了!

南權先生
2025-07-10 14:47:46
2025-07-11 23:52:49
暴走通信
暴走通信
看盡通信江湖
1189文章數 362關注度
往期回顧 全部

科技要聞

稚暉君神操作 宇樹痛失"人形機器人第一股"

頭條要聞

王毅會見魯比奧后 魯比奧就"中美領導人會面"表態(tài)

頭條要聞

王毅會見魯比奧后 魯比奧就"中美領導人會面"表態(tài)

體育要聞

從無畏金蘭到薪火相傳,中國女籃新的花期來了

娛樂要聞

新聞聯播鏡頭下的宋佳面相變了

財經要聞

管濤:百年美元信用將崩塌?

汽車要聞

最便宜滿血版華為智駕和鴻蒙座艙 嵐圖FREE+閉眼沖

態(tài)度原創(chuàng)

親子
藝術
時尚
數碼
房產

親子要聞

自己在家做的芒果牛扎糖特別好吃,姐妹們給孩子做起來哦

藝術要聞

故宮珍藏的墨跡《十七帖》,比拓本更精良,這才是地道的魏晉寫法

T恤+高腰下裝=顯瘦天花板,比"露奶衫"高級100倍!

數碼要聞

蘋果開學買一送一,有點兒摳

房產要聞

8大新盤曝光!2025下半場,廣州主城開卷廝殺!

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 科技| 临湘市| 健康| 南昌县| 攀枝花市| 高要市| 台州市| 观塘区| 揭阳市| 津南区| 来安县| 东方市| 兰州市| 阿鲁科尔沁旗| 中西区| 禄劝| 苏州市| 莱西市| 大渡口区| 环江| 西盟| 威宁| 河西区| 海林市| 文成县| 绍兴县| 固安县| 长治市| 永年县| 临漳县| 景洪市| 黎平县| 靖远县| 台中市| 舟曲县| 黄龙县| 布拖县| 夹江县| 修武县| 云霄县| 闻喜县|