始智AI wisemodel.cn開源社區

始智AI wisemodel.cn社區是源自中國的中立開放的AI開源社區。正在，歡迎加入共同成長。wisemodel社區上線，最新上線4090資源不限量，價格實惠，靈活方便，支持在線微調訓練模型，及和，并。

近年來，大語言模型（LLMs）取得了突破性進展，展現了諸如上下文學習、指令遵循、推理和多輪對話等能力。目前，普遍的觀點認為其成功依賴于自回歸模型的「next token prediction」范式。

最近，人大高瓴李崇軒、文繼榮團隊和螞蟻集團的研究員提出了一種新的洞察：大語言模型展現的語言智能（如上下文學習、指令遵循、推理和多輪對話等能力）并非自回歸機制獨有，而在于背后所遵循的生成建模原則，即通過最大似然估計（或最小化 KL 散度）來逼近真實語言分布。

基于這一理念，團隊開發了 LLaDA（Large Language Diffusion with mAsking）—— 一種基于掩碼擴散模型的語言生成方法。與傳統自回歸模型不同，LLaDA 采用前向掩碼加噪和反向去噪的機制，不僅突破了單向生成的局限，還通過優化似然下界，提供了一種不同于自回歸的、原理嚴謹的概率建模方案。該方案已上線始智AI-wisemodel開源社區，歡迎體驗。

模型地址

https://wisemodel.cn/models/nieshen/LLaDA-8B-Instruct

https://wisemodel.cn/models/nieshen/LLaDA-8B-Base

01.

性能展示

卓越的可擴展性。在多個語言任務上，LLaDA 和自回歸模型基線進行了嚴格對比。實驗表明，在相同的數據條件下，LLaDA 在 MMLU、GSM8K 等多個任務上展現了與自回歸模型相當的表現，證明了其在高計算成本下的強大擴展能力。

即使在某些相對薄弱的任務上，隨著模型規模的增大，LLaDA 也能迅速縮小與自回歸模型之間的性能差距。

出色的上下文學習與指令遵循能力。在涵蓋 15 個熱門基準測試（包括通用任務、數學、代碼及中文任務）的評測中，預訓練了 2.3T tokens 的 LLaDA 8B Base 模型憑借強大的 zero/few-shot 學習能力，整體表現超越了 LLaMA2 7B Base （預訓練 tokens 2T），并與 LLaMA3 8B Base （預訓練 tokens 15T）媲美。

在經過監督微調（SFT）后，LLaDA 的指令遵循能力得到了顯著提升，能在多輪對話及跨語種生成任務中保持連貫性和高質量輸出，充分展現了其對復雜語言指令的良好理解和響應能力。

下圖是在一些熱門基準上 LLaDA 和 LLaMA3 以及 LLaMA2 的性能對比，詳細結果請參見論文。

平衡的正向與逆向推理能力。傳統自回歸模型在逆向推理任務中常常存在「逆向詛咒」[3] 問題，好比當模型在「A is B」數據上訓練之后無法回答「B is A」。而 LLaDA 則通過雙向的概率建模機制，有效克服了這一局限。在詩歌補全任務中，LLaDA 在正向生成與逆向生成上均取得了均衡表現，尤其在逆向任務中明顯超越了 GPT-4o 和其他對比模型，展現了強大的逆向推理能力。

多場景下的實際應用效果。除了標準測試指標外，我們在多輪對話、數學題解和跨語言文本生成等實際應用場景中也看到了 LLaDA 的出色表現。無論是復雜問題求解、指令翻譯，還是創意詩歌生成，LLaDA 都能準確把握上下文并生成流暢、合理的回答，充分驗證了其在非自回歸生成模式下的應用前景。

下圖是 LLaDA 在回答用戶提問的一個例子，用戶輸入的 prompt 是「Explain what artificial intelligence is」。LLaDA 采取了一種不同于自回歸模型從左到右的生成方式。

下圖是 LLaDA 同用戶進行多輪對話的場景。LLaDA 不僅正確回答了詩歌《未選擇的路》的前兩句，而且成功將英文翻譯成中文和德語，并且按照用戶要求創作了一首五行，且每一行均以字母 C 開頭的詩歌。

02.

核心方法

下圖展示了 LLaDA 的預訓練、監督微調以及采樣過程。

概率建模框架。LLaDA 通過前向過程和反向過程來定義模型分布 。在前向過程中，對文本中的 tokens 進行逐步獨立掩碼，直到在 t=1 時整個序列被完全掩碼。當時，序列是部分掩碼的，每個 token 有概率 t 被掩碼，或者以概率 1-t 保留原樣。

而反向過程則通過在 t 從 1 逐步減小到 0 的過程中反復預測被掩碼的 tokens，從而恢復出數據分布。LLaDA 的核心是一個參數化的掩碼預測器，其訓練目標僅對被掩碼部分計算交叉熵損失：

前期工作 [2] 已證明該目標函數為負對數似然的上界，從而為生成建模提供了嚴格的理論依據。

預訓練。LLaDA 使用 Transformer 作為掩碼預測器，并且不采用因果掩碼，從而能夠利用全局信息進行預測。預訓練在 2.3 萬億 tokens 的數據上進行，這些數據涵蓋通用文本、代碼、數學以及多語言內容。

對于每個訓練序列 ，先隨機采樣 ，然后以相同概率 t 對每個 token 進行獨立掩碼得到 ，并通過蒙特卡羅方法估計目標函數進行優化。為增強對變長數據的處理能力，部分數據采用了隨機長度。

LLaDA 采用 Warmup-Stable-Decay 學習率調度器和 AdamW 優化器，設置總批量大小為 1280（每 GPU 4）。

監督微調（SFT）。為了提升模型的指令遵循能力，LLaDA 在監督微調階段使用成對數據進行訓練，其中為提示，為響應。在 SFT 中保持提示 不變，對響應 進行獨立掩碼生成 ，然后計算如下損失：

其中 為響應的動態長度。整個過程與預訓練一致，只是所有被掩碼的 token 均來自響應部分。SFT 在 450 萬對數據上進行，使用類似預訓練的學習率調度和優化器設置。

推斷。給定提示 ，模型從完全掩碼的響應開始，通過離散化的反向過程逐步恢復文本。在每一步，模型預測所有被掩碼 token 后，會按一定比例對部分預測結果進行再掩碼，以保證反向過程與前向過程一致。對于條件似然評估，LLaDA 使用了下面這個和 等價但是方差更小的目標函數：

其中 l 是從 中均勻采樣得到， 是通過從 中不放回地均勻采樣 l 個 token 進行掩碼得到。

03.

總結

擴散語言模型 LLaDA 首次展示了通過前向掩碼加噪與反向去噪機制，同樣可以實現大語言模型的核心能力。

實驗表明，LLaDA 在可擴展性、上下文學習和指令遵循等方面表現優異，具備與傳統自回歸模型相媲美甚至更優的性能，同時其雙向生成與增強的魯棒性有效突破了自回歸建模的固有限制，從而挑戰了「大語言模型的智能必然依賴自回歸生成」的傳統觀念。

本文由中國人民大學高瓴人工智能學院李崇軒、文繼榮教授團隊和螞蟻集團共同完成。共同一作聶燊和朱峰琪是中國人民大學高瓴人工智能學院的博士生，導師為李崇軒副教授，論文為二者在螞蟻實習期間完成。螞蟻集團張曉露、胡俊，人民大學林衍凱、李崇軒為共同項目負責人。李崇軒副教授為唯一通訊作者。

編輯丨趙雅鑫

----- END -----

wisemodel相關：

系統升級：

大賽報名：

系列模型：

關于wisemodel更多

1

歡迎持續關注和支持

開源社區建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區的志愿者計劃和開源共創計劃。期待更多開發者將開源成果，包括模型、數據集和代碼等發布到 wisemodel.cn 社區，共建中立、開放的AI開源社區生態。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續關注wisemodel.cn開源社區動態。

2

歡迎加盟wisemodel開源社區

始智AI wisemodel社區自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區，為了加快公司發展，我們長期需要技術、運營等人才加盟，技術側重在AI infra、后端開發，熟悉K8S、模型訓練和推理等技術， 以及熟悉開發者生態運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優質內容

歡迎投稿分享人工智能領域相關的優秀研究成果，鼓勵高校實驗室、大企業研究團隊、個人等，在wisemodel平臺上分享各類優質內容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術實踐、應用和總結等。投稿可以發郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關于wisemodel開源社區

始智AI wisemodel.cn開源社區由清華校友總會AI大數據專委會副秘書長劉道全創立，旨在打造和建設中立開放的AI開源創新社區，將打造成“HuggingFace”之外最活躍的AI開源社區，匯聚主要AI開源模型、數據集和代碼等，歡迎高校科研院所、大型互聯網公司、創新創業企業、廣大個人開發者，以及政府部門、學會協會、聯盟、基金會等，還有投資機構、科技媒體等，共同參與建設AI開源創新生態。

向上滑動查看