99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

中國聯通對DeepSeek系列思維鏈模型進行“自適應慢思考”優化升級

0
分享至


日前,DeepSeek團隊宣布將在“2月27日至3月3日”陸續開源5個代碼庫,這與中國聯通一直秉持的開源普惠理念不謀而合。繼中國聯通于1月開源元景“自適應慢思考”思維鏈大模型后,又針對DeepSeek系列模型進行了“自適應慢思考”優化升級,現已開源,開源地址詳見文末。這也是目前業界首個對DeepSeek系列思維鏈模型做“自適應慢思考”優化升級的工作。



DeepSeek官宣開源周

“以我為主,為我所用”的開放創新

元景思維鏈大模型具備多學科、多場景通用推理能力,且能在確保慢思考能力不打折的情況下,做到針對不同任務和難度的自適應慢思考,大幅降低了資源消耗,實現了大模型“慢思考”能力高性價比落地應用。

元景思維鏈大模型接入DeepSeek-R1并非簡單的“拿來主義”,而是“從其善,優其不善”,對DeepSeek-R1版本進行了調整,最大程度規避了其面對簡單問題“過度思考”的現象,使模型具備了“自適應”能力。即在面向難度較高問題時使用慢思考模式生成長思維鏈,面向簡單問題時則傾向于生成簡潔的思維鏈,迅速準確的輸出相關答案。這樣避免了答案的冗余、資源的浪費以及減少用戶等待時間,提升用戶體驗。

調整步驟完整分享

難度自適應微調:為實現模型推理的難度自適應,中國聯通利用DeepSeek-R1滿血版模型采樣生成數據,通過復雜度量化模塊構造長度偏好數據集,對于簡單問題從采樣答案中挑選長度較短的答案,對困難問題挑選長度較長的答案,使得答案長度與當前問題復雜度相匹配。在此基礎上對DeepSeek-R1進行微調,使得微調后的模型具備對不同難度題目的自適應慢思考能力。具體改造流程如下圖所示。



自適應慢思考的DeepSeek-R1滿血版模型訓練流程圖

二次蒸餾:針對DeepSeek-R1的系列蒸餾模型,由于其使用的蒸餾數據來自訓練滿血版R1時使用的訓練數據,而非由性能更好的R1滿血版自身生成的數據,這會導致得到的蒸餾模型未能充分學習R1滿血版的能力,蒸餾效果大打折扣。為解決這個問題,中國聯通使用了二次蒸餾的策略,即利用DeepSeek-R1滿血版將已積累的高質量數據轉化為包括深度思考過程的長思維鏈格式數據,在DeepSeek-R1蒸餾系列模型基礎上再進行一次微調,使模型具備更強的推理能力。

難度自適應強化學習:在對模型進行二次蒸餾后,中國聯通進一步借鑒DeepSeek-R1的構建思路,在GRPO算法基礎上提出了一種難度自適應強化學習算法DA-GRPO(Difficulty Adaptive GRPO),對二次蒸餾模型進行難度自適應的強化學習訓練,進一步提升其推理效果。除了使用傳統的基于規則的正確性獎勵、格式獎勵、語言一致性獎勵外,DA-GRPO還基于每個問題的復雜程度和生成答案的長度對獎勵得分進行校準。具體而言,如果模型對一個簡單問題輸出較長的答案,則對獎勵分數進行相應的懲罰。同時,若模型對困難的問題輸出較長的答案,則給予其更高的獎勵分數,以鼓勵其進行更充分的思考。這樣,通過提高樣本答案獎勵得分的區分度,使模型具備根據問題難度輸出相應長度答案的能力,在保證推理準確率的前提下顯著減少了答案冗余和資源消耗,從而實現對不同難度問題的自適應慢思考。



自適應慢思考的DeepSeek-R1蒸餾版模型訓練流程圖

推理計算量節省約30%!實測效果對比一覽

中國聯通以DeepSeek-R1-distill-32B模型為例,對上述方法的效果進行了驗證。通過在數學任務測評集(MATH500)上對比以及具體實驗可以看到,經過難度自適應改造后的模型在不同難度等級問題上生成的回答長度較原版均明顯下降,并且對于最高難度(Level 5)輸出的回答長度降幅最大,體現了模型對不同難度等級問題具備自適應慢思考能力。經過測評,這種創新的自適應慢思考方法,平均可節省約30%的推理計算量,冗余輸出大幅減少,用戶體驗得到有效提升。



回答長度對比:原版DeepSeek-R1-distill-32B(淺藍)vs自適應版(深藍)



除了通過對DeepSeek-R1模型進行自適應慢思考優化升級外,中國聯通還在緊鑼密鼓推進對DeepSeek-R1系列模型的能力邊界量化和安全價值觀增強等相關工作的探索。未來,中國聯通將持續與以DeepSeek為代表的先進開源模型深度融合,不斷升級元景基礎模型能力和MaaS平臺功能,貫徹開源普惠理念,推進算力普惠、模型普惠、應用普惠,以先進數智水平賦能社會千行百業。

目前,自適應慢思考版的DeepSeek-R1-distill-32B已在GitHub、魔搭、始智等社區全面開源,地址如下:

GitHub:https://github.com/UnicomAI/Unichat-DeepSeek-R1-distill-32B

魔搭:https://www.modelscope.cn/UnicomAI/Unichat-DeepSeek-R1-distill-32B

始智:https://wisemodel.cn/models/UnicomLLM/Unichat-DeepSeek-R1-distill-32B

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
陳國軍:一生3段婚姻,兒子陳赫是他的驕傲,最愛最恨都是劉曉慶

陳國軍:一生3段婚姻,兒子陳赫是他的驕傲,最愛最恨都是劉曉慶

三公子娛樂丫
2025-07-04 16:05:37
恭喜中國男籃!3首輪開啟盛世?美媒預測天才新星順位超楊瀚森

恭喜中國男籃!3首輪開啟盛世?美媒預測天才新星順位超楊瀚森

蛋疼體育
2025-07-08 23:29:46
亞洲第一賭場新東泰覆滅記:性交易泛濫,富商瘋狂砸錢,揮金如土

亞洲第一賭場新東泰覆滅記:性交易泛濫,富商瘋狂砸錢,揮金如土

談史論天地
2025-07-02 20:45:03
上海一超市6顆荔枝298元,工作人員:一款有故事的荔枝,限量供應

上海一超市6顆荔枝298元,工作人員:一款有故事的荔枝,限量供應

齊魯壹點
2025-07-08 14:39:19
廣東初二男孩被5名同學圍毆,父親掄起鐵棍將其中一名活活打死,判決結果出來后,網友不淡定了…

廣東初二男孩被5名同學圍毆,父親掄起鐵棍將其中一名活活打死,判決結果出來后,網友不淡定了…

譚老師地理工作室
2025-03-11 12:58:06
阿里納斯提出用喬什·吉迪換勇士隊庫明加的交易方案,適配庫里

阿里納斯提出用喬什·吉迪換勇士隊庫明加的交易方案,適配庫里

好火子
2025-07-10 02:06:43
為什么網上有那么多“低月租+大流量”的卡?去營業廳卻不能辦?

為什么網上有那么多“低月租+大流量”的卡?去營業廳卻不能辦?

號卡哆哆
2025-07-02 11:52:34
“牡丹花下死,做鬼也風流”!如今,誰也救不了44歲的宋小寶

“牡丹花下死,做鬼也風流”!如今,誰也救不了44歲的宋小寶

凡知
2025-07-08 14:52:06
特朗普索要100億美元駐韓軍費,韓方:將遵守現有協定

特朗普索要100億美元駐韓軍費,韓方:將遵守現有協定

界面新聞
2025-07-09 15:29:44
2008年,北京老光棍買下火葬場旁荒地,15年后殯葬巨頭傻了

2008年,北京老光棍買下火葬場旁荒地,15年后殯葬巨頭傻了

燦爛夏天
2025-07-04 17:39:41
彩繪顏料是苦的,苦得發麻

彩繪顏料是苦的,苦得發麻

歷史總在押韻
2025-07-09 00:36:43
夫妻性生活不和諧?試試這些簡單的方法

夫妻性生活不和諧?試試這些簡單的方法

精彩分享快樂
2025-07-10 00:34:21
韓鵬出任泰山代理主帥是補墻不是補強,王大雷或成為最大輸家

韓鵬出任泰山代理主帥是補墻不是補強,王大雷或成為最大輸家

姜大叔侃球
2025-07-09 10:13:32
外媒:伊朗已收到首架殲-10C戰機和PL-15導彈!

外媒:伊朗已收到首架殲-10C戰機和PL-15導彈!

荊楚寰宇文樞
2025-07-06 13:00:16
明明大版面記者調查一下就能結束的事,為什么要全靠網友瞎猜?

明明大版面記者調查一下就能結束的事,為什么要全靠網友瞎猜?

走讀新生
2025-07-09 21:48:02
跌慘了!從300萬跌到175萬,縮水超40%,蘇州一樓盤業主欲哭無淚

跌慘了!從300萬跌到175萬,縮水超40%,蘇州一樓盤業主欲哭無淚

明月雜談
2025-07-08 14:09:57
袁甲:崔康熙和管理層矛盾的根源就是這賽季球隊收回了他的引援權

袁甲:崔康熙和管理層矛盾的根源就是這賽季球隊收回了他的引援權

直播吧
2025-07-09 10:12:27
拳王鄒市明,終究還是向生活低頭了!在直播間賣起了雞爪和薯片!

拳王鄒市明,終究還是向生活低頭了!在直播間賣起了雞爪和薯片!

小咪侃娛圈
2025-07-09 13:33:47
突發!官宣手術!再簽兩人!弗拉格首秀就炸了!

突發!官宣手術!再簽兩人!弗拉格首秀就炸了!

左右為籃
2025-07-09 13:37:58
聽聞賀子珍沒被安排職務,毛主席隨即大怒:難道她的資歷還不夠?

聽聞賀子珍沒被安排職務,毛主席隨即大怒:難道她的資歷還不夠?

顧史
2025-07-07 17:49:58
2025-07-10 03:19:00
暴走通信
暴走通信
看盡通信江湖
1189文章數 362關注度
往期回顧 全部

科技要聞

創造歷史,英偉達成首個4萬億美元上市公司

頭條要聞

紐約市長候選人稱若當選將逮捕內塔尼亞胡 特朗普發聲

頭條要聞

紐約市長候選人稱若當選將逮捕內塔尼亞胡 特朗普發聲

體育要聞

東亞杯-姚偉傳射+世界波邵子欽頭槌 女足2-2韓國

娛樂要聞

周杰倫開抖音號瘋漲三百萬粉絲

財經要聞

金店業績分化 為何"一口價"賣得更好了?

汽車要聞

比亞迪為智能泊車安全兜底 天神之眼全面OTA升級

態度原創

健康
時尚
本地
親子
藝術

呼吸科專家破解呼吸道九大謠言!

清爽夏日,從這個“釣魚佬”穿搭開始

本地新聞

云游中國|踏入時光長廊!岐山八景訴說古今歲月風華

親子要聞

媽媽:啊行行行不問了~

藝術要聞

故宮珍藏的墨跡《十七帖》,比拓本更精良,這才是地道的魏晉寫法

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 湘西| 榆社县| 新邵县| 河北区| 垫江县| 华坪县| 漳浦县| 上林县| 海晏县| 迭部县| 临夏市| 高青县| 新干县| 巴林右旗| 平和县| 天长市| 龙泉市| 鄄城县| 诸暨市| 航空| 城固县| 炎陵县| 徐汇区| 体育| 呈贡县| 长沙县| 青河县| 彝良县| 通化县| 乌鲁木齐市| 同江市| 和静县| 福州市| 开平市| 克东县| 三原县| 夏邑县| 霍邱县| 同德县| 蒙城县| 白银市|