99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

中國聯通對DeepSeek系列思維鏈模型進行“自適應慢思考”優化升級

0
分享至


日前,DeepSeek團隊宣布將在“2月27日至3月3日”陸續開源5個代碼庫,這與中國聯通一直秉持的開源普惠理念不謀而合。繼中國聯通于1月開源元景“自適應慢思考”思維鏈大模型后,又針對DeepSeek系列模型進行了“自適應慢思考”優化升級,現已開源,開源地址詳見文末。這也是目前業界首個對DeepSeek系列思維鏈模型做“自適應慢思考”優化升級的工作。



DeepSeek官宣開源周

“以我為主,為我所用”的開放創新

元景思維鏈大模型具備多學科、多場景通用推理能力,且能在確保慢思考能力不打折的情況下,做到針對不同任務和難度的自適應慢思考,大幅降低了資源消耗,實現了大模型“慢思考”能力高性價比落地應用。

元景思維鏈大模型接入DeepSeek-R1并非簡單的“拿來主義”,而是“從其善,優其不善”,對DeepSeek-R1版本進行了調整,最大程度規避了其面對簡單問題“過度思考”的現象,使模型具備了“自適應”能力。即在面向難度較高問題時使用慢思考模式生成長思維鏈,面向簡單問題時則傾向于生成簡潔的思維鏈,迅速準確的輸出相關答案。這樣避免了答案的冗余、資源的浪費以及減少用戶等待時間,提升用戶體驗。

調整步驟完整分享

難度自適應微調:為實現模型推理的難度自適應,中國聯通利用DeepSeek-R1滿血版模型采樣生成數據,通過復雜度量化模塊構造長度偏好數據集,對于簡單問題從采樣答案中挑選長度較短的答案,對困難問題挑選長度較長的答案,使得答案長度與當前問題復雜度相匹配。在此基礎上對DeepSeek-R1進行微調,使得微調后的模型具備對不同難度題目的自適應慢思考能力。具體改造流程如下圖所示。



自適應慢思考的DeepSeek-R1滿血版模型訓練流程圖

二次蒸餾:針對DeepSeek-R1的系列蒸餾模型,由于其使用的蒸餾數據來自訓練滿血版R1時使用的訓練數據,而非由性能更好的R1滿血版自身生成的數據,這會導致得到的蒸餾模型未能充分學習R1滿血版的能力,蒸餾效果大打折扣。為解決這個問題,中國聯通使用了二次蒸餾的策略,即利用DeepSeek-R1滿血版將已積累的高質量數據轉化為包括深度思考過程的長思維鏈格式數據,在DeepSeek-R1蒸餾系列模型基礎上再進行一次微調,使模型具備更強的推理能力。

難度自適應強化學習:在對模型進行二次蒸餾后,中國聯通進一步借鑒DeepSeek-R1的構建思路,在GRPO算法基礎上提出了一種難度自適應強化學習算法DA-GRPO(Difficulty Adaptive GRPO),對二次蒸餾模型進行難度自適應的強化學習訓練,進一步提升其推理效果。除了使用傳統的基于規則的正確性獎勵、格式獎勵、語言一致性獎勵外,DA-GRPO還基于每個問題的復雜程度和生成答案的長度對獎勵得分進行校準。具體而言,如果模型對一個簡單問題輸出較長的答案,則對獎勵分數進行相應的懲罰。同時,若模型對困難的問題輸出較長的答案,則給予其更高的獎勵分數,以鼓勵其進行更充分的思考。這樣,通過提高樣本答案獎勵得分的區分度,使模型具備根據問題難度輸出相應長度答案的能力,在保證推理準確率的前提下顯著減少了答案冗余和資源消耗,從而實現對不同難度問題的自適應慢思考。



自適應慢思考的DeepSeek-R1蒸餾版模型訓練流程圖

推理計算量節省約30%!實測效果對比一覽

中國聯通以DeepSeek-R1-distill-32B模型為例,對上述方法的效果進行了驗證。通過在數學任務測評集(MATH500)上對比以及具體實驗可以看到,經過難度自適應改造后的模型在不同難度等級問題上生成的回答長度較原版均明顯下降,并且對于最高難度(Level 5)輸出的回答長度降幅最大,體現了模型對不同難度等級問題具備自適應慢思考能力。經過測評,這種創新的自適應慢思考方法,平均可節省約30%的推理計算量,冗余輸出大幅減少,用戶體驗得到有效提升。



回答長度對比:原版DeepSeek-R1-distill-32B(淺藍)vs自適應版(深藍)



除了通過對DeepSeek-R1模型進行自適應慢思考優化升級外,中國聯通還在緊鑼密鼓推進對DeepSeek-R1系列模型的能力邊界量化和安全價值觀增強等相關工作的探索。未來,中國聯通將持續與以DeepSeek為代表的先進開源模型深度融合,不斷升級元景基礎模型能力和MaaS平臺功能,貫徹開源普惠理念,推進算力普惠、模型普惠、應用普惠,以先進數智水平賦能社會千行百業。

目前,自適應慢思考版的DeepSeek-R1-distill-32B已在GitHub、魔搭、始智等社區全面開源,地址如下:

GitHub:https://github.com/UnicomAI/Unichat-DeepSeek-R1-distill-32B

魔搭:https://www.modelscope.cn/UnicomAI/Unichat-DeepSeek-R1-distill-32B

始智:https://wisemodel.cn/models/UnicomLLM/Unichat-DeepSeek-R1-distill-32B

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
凱特王妃紅裙驚艷全場!國宴上演王室權謀大戲!

凱特王妃紅裙驚艷全場!國宴上演王室權謀大戲!

全球奇趣娛樂八卦
2025-07-09 21:30:17
細思極恐!70人血鉛超標!天水幼兒檢測報告,在安保的護送下發放

細思極恐!70人血鉛超標!天水幼兒檢測報告,在安保的護送下發放

明月雜談
2025-07-08 07:02:12
剛剛,上海迪士尼緊急叫停!

剛剛,上海迪士尼緊急叫停!

上觀新聞
2025-07-10 14:44:51
雪上加霜!國足遭重創,天才前鋒受傷+宋凱不滿,PK日本0-2=爆冷

雪上加霜!國足遭重創,天才前鋒受傷+宋凱不滿,PK日本0-2=爆冷

大秦壁虎白話體育
2025-07-10 19:58:22
金磚11國或被全球孤立?特朗普攤牌了,中俄去美元化已沒有退路

金磚11國或被全球孤立?特朗普攤牌了,中俄去美元化已沒有退路

一個有靈魂的作者
2025-07-10 11:39:54
新華視點|綠色能源·低空經濟·田間“速遞”——經濟新動能一線觀察

新華視點|綠色能源·低空經濟·田間“速遞”——經濟新動能一線觀察

新華社
2025-07-09 15:07:14
中國不該獨自對付美國,日本前首相:需趕緊跟另兩國合作

中國不該獨自對付美國,日本前首相:需趕緊跟另兩國合作

科技講者66
2025-07-09 21:11:07
08年大媽北京旅游,被慫恿花2000塊買下玉鐲,9年后才知真實價值

08年大媽北京旅游,被慫恿花2000塊買下玉鐲,9年后才知真實價值

白云故事
2025-07-09 08:05:14
巴黎是效力過最好的球隊?登貝萊:我曾效力過有梅西的巴薩

巴黎是效力過最好的球隊?登貝萊:我曾效力過有梅西的巴薩

懂球帝
2025-07-10 16:14:22
亞洲最大賭場開建,日本賭的不只是錢。這次真要搶澳門飯碗了!

亞洲最大賭場開建,日本賭的不只是錢。這次真要搶澳門飯碗了!

小新沒有蠟筆吖
2025-06-18 22:04:39
不服特朗普的國家出現了,宣布對美征50%關稅

不服特朗普的國家出現了,宣布對美征50%關稅

博覽歷史
2025-07-10 16:57:01
男子冒充外賣員入戶,與女主播發生6次關系,女子哭訴:還帶道具

男子冒充外賣員入戶,與女主播發生6次關系,女子哭訴:還帶道具

書畫藝術收藏
2025-07-02 19:10:03
楊少華送路儀式:楊議被抬出靈堂、疑似哭暈,送行隊伍聲勢浩大

楊少華送路儀式:楊議被抬出靈堂、疑似哭暈,送行隊伍聲勢浩大

陳意小可愛
2025-07-11 01:39:30
拼圖到位!火箭官宣續約杰夫-格林、泰特和阿隆-霍勒迪

拼圖到位!火箭官宣續約杰夫-格林、泰特和阿隆-霍勒迪

直播吧
2025-07-11 00:35:05
開拓者隊記曬楊瀚森給球迷簽名照片:他已經出名啦!

開拓者隊記曬楊瀚森給球迷簽名照片:他已經出名啦!

直播吧
2025-07-11 00:56:10
我半夜開高速遇美女攔車,準備停車時后座朋友狂喊:那不是人

我半夜開高速遇美女攔車,準備停車時后座朋友狂喊:那不是人

五元講堂
2025-07-08 11:29:08
聯合國關注甘肅天水,一種改變正在發生

聯合國關注甘肅天水,一種改變正在發生

關爾東
2025-07-10 11:47:50
美國心理學家:每天多坐1小時 , 海馬體萎縮速度加快10% , 會越變越笨

美國心理學家:每天多坐1小時 , 海馬體萎縮速度加快10% , 會越變越笨

第一心理
2025-07-10 18:19:05
王晶怒噴李嘉誠:他在香港名聲很壞,20年來不斷剝削老百姓的錢

王晶怒噴李嘉誠:他在香港名聲很壞,20年來不斷剝削老百姓的錢

逍遙史記
2025-07-06 22:20:25
新姚麥!開拓者帝星主動示好楊瀚森,自比麥迪,力挺小楊比肩姚明

新姚麥!開拓者帝星主動示好楊瀚森,自比麥迪,力挺小楊比肩姚明

嘴炮體壇
2025-07-10 21:43:24
2025-07-11 02:27:00
暴走通信
暴走通信
看盡通信江湖
1189文章數 362關注度
往期回顧 全部

科技要聞

Grok4最貴訂閱月費2千,會不會三觀不正?

頭條要聞

退休人員基本養老金為何上調2% 人社部發文回應

頭條要聞

退休人員基本養老金為何上調2% 人社部發文回應

體育要聞

白衣生涯最后一舞,但魔笛的故事還沒結束

娛樂要聞

宋佳,真的好叛逆!

財經要聞

潮玩規模破千億的幕后故事

汽車要聞

靠譜奶爸的底氣 樂道L90靜態體驗

態度原創

親子
藝術
家居
游戲
房產

親子要聞

老婆懷孕了想吃40元一斤的草莓,經濟一般該買嗎?

藝術要聞

故宮珍藏的墨跡《十七帖》,比拓本更精良,這才是地道的魏晉寫法

家居要聞

美式簡約 奢華不失優雅

魔獸懷舊服:團長發問為什么不吃合劑,玩家神回復,收益是關鍵

房產要聞

重磅!招商+平安出手,拿下海南440畝灣區大盤!

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 凤冈县| 宜兴市| 土默特左旗| 天津市| 醴陵市| 桐庐县| 栾川县| 洪洞县| 阳西县| 绵阳市| 新闻| 涞源县| 平湖市| 德钦县| 板桥市| 高唐县| 临沭县| 乾安县| 恭城| 定西市| 伊通| 阜平县| 同德县| 建水县| 陇川县| 临沭县| 怀柔区| 皮山县| 平江县| 云和县| 中卫市| 恩施市| 长春市| 板桥市| 微山县| 西青区| 郴州市| 天镇县| 舟曲县| 孝感市| 扎鲁特旗|