智東西
作者 李水青
編輯 云鵬

智東西6月10日報道，近日，大模型開源圈迎來重磅跨界新玩家——小紅書開源了首個大模型dots.llm1。

dots.llm1是一個1420億參數的MoE（混合專家）模型，僅激活140億參數，可在中英文、數學、對齊等任務上實現與阿里Qwen3-32B接近的性能。在中文表現上，dots.llm1最終性能在C-Eval上達到92.2分，超過了包括DeepSeek-V3在內的所有模型。

小紅書開源大模型的一大特色在于數據。dots.llm1.ins在預訓練階段使用了11.2萬億的非合成數據。作為最新估值直飆2500億元的國民級社交內容平臺，小紅書試圖證明的是：通過高效的設計和高質量的數據，可以擴展大型語言模型的能力邊界。

根據小紅書hi lab團隊（Humane Intelligence Lab，人文智能實驗室）公布的技術報告，其主要貢獻總結如下：

1、增強的數據處理：團隊提出了一個可擴展且細粒度的三階段數據處理框架，旨在生成大規模、高質量和多樣化的數據，以進行預訓練。完整的過程是開源的，以此增強可復現性。

2、性能和成本效益：團隊推出了dots.llm1開源模型，在推理過程中僅激活14B參數，同時提供全面且計算高效的性能。dots.llm1使用團隊的可擴展數據處理框架生成的11.2萬億個高質量tokens進行訓練，在各種任務中展示了強大的性能，所有這些都無需依賴合成數據或模型蒸餾即可實現。

3、基礎設施：團隊引入了一種基于1F1B通道調度和高效的分組GEMM實現的創新MoE全對多通信和計算重疊配方，以提高計算效率。

4、模型動力學的開放可訪問性：通過以開源形式發布中間訓練檢查點，團隊的目標是使研究界能夠透明地了解訓練過程，從而更深入地了解大型模型的動力學，并促進LLM領域的加速創新。

Hugging Face地址：
https://huggingface.co/rednote-hilab
GitHub地址：
https://github.com/rednote-hilab/dots.llm1

一、性能打平Qwen2.5-72B，僅需激活14B參數

首先看下dots.llm1的模型效果，團隊訓練得到的dots.llm1 base模型和instruct模型，均在綜合指標上打平Qwen2.5-72B模型。

根據評估結果，dots.llm1.inst在中英文通用任務、數學推理、代碼生成和對齊基準測試中表現較好，僅激活了14B參數，與Qwen2.5-32B-Instruct和Qwen2.5-72B-Struct相比效果更好。在雙語任務、數學推理和對齊能力方面，dots.llm1.inst取得了與Qwen3-32B相當或更好的性能。

具體來看，在英語表現上，dots.llm1.inst在MMLU、MMLU-Redux、DROP和GPQA等問答任務中，與Qwen2.5/Qwen3系列模型相比具有競爭力。

在代碼性能上，該模型與Qwen2.5系列相比不相上下，但與Qwen3和DeepSeek-V3等更先進的模型相比仍有差距。

在數學表現上，dots.llm1.inst在AIME24上獲得了33.1分，凸顯了其在復雜數學方面的高級問題解決能力；在MATH500的得分為84.8，優于Qwen2.5系列，并接近最先進的結果。

在中文表現上，dots.llm1.inst在CLUEWSC上獲得了92.6分，與行業領先的中文語義理解性能相匹配。在C-Eval上，它達到了92.2，超過了包括DeepSeek-V3在內的所有模型。

對齊性能方面，dots.llm1.inst在IFEval、AlpacaEval2和ArenaHard等基準測試中表現出有競爭力的性能。這些結果表明，該模型可以準確地解釋和執行復雜的指令，同時保持與人類意圖和價值觀的一致性。

二、采取MoE架構，11.2萬億非合成數據訓練

dots.llm1模型是一種僅限解碼器的Transformer架構，其中每一層由一個注意力層和一個前饋網絡（FFN）組成。與Llama或Qwen等密集模型不同，FFN被專家混合（MoE）替代了。這種修改允許其在保持經濟成本的同時訓練功能強大的模型。

在注意力層方面，團隊在模型中使用了一種普通的多頭注意力機制。在MoE層，團隊遵循DeepSeek、Qwen的做法，用包含共享和獨立專家的MoE層替換了FFN，他們的實施包括為所有token激活128個路由專家和2個共享專家，每個專家都使用SwiGLU激活實現為細粒度的兩層FFN。負載均衡方面，為了降低訓練和推理期間的模型容量和計算效率，團隊采用了一種與DeepSeek類似的輔助無損的方法；此外，團隊還采用序列平衡損失，以防止任何單個序列中的極端不平衡，以此使dots.llm1在整個訓練過程中保持良好的負載均衡。

預訓練數據方面，dots.llm1.ins在預訓練階段使用了11.2萬億tokens的非合成數據，主要來自通用爬蟲和自有爬蟲抓取得到的Web數據。

在數據處理上，團隊主要進行了文檔準備、基于規則的處理和基于模型的處理。其中文檔準備側重于預處理和組織原始數據；基于規則的處理旨在通過自動篩選和清理數據，最大限度地減少對大量人工管理的需求；基于模型的處理進一步確保最終數據集既高質量又多樣化。

其數據處理管道有兩項關鍵創新，如下所示：

1、Web雜亂清除模型：為了解決樣板內容和重復行等問題，團隊開發了一種在生產線級別運行的輕量級模型。這種方法在清潔質量和計算效率之間實現了有效的平衡，代表了開源數據集中不常見的獨特功能。

2、類別平衡：團隊訓練一個200類分類器來平衡Web數據中的比例。這使其能夠增加基于知識和事實的內容（例如百科全書條目和科普文章）的存在，同時減少虛構和高度結構化的Web內容（包括科幻小說和產品描述）的份額。

經過上述處理流程，團隊得到一份高質量的預訓練數據，并經過人工校驗和實驗驗證，證明該數據質量顯著優于開源Txt360數據。

三、模型包含62層，序列長度擴展到32k

在參數方面，dots.llm1模型使用AdamW優化器進行訓練，模型包含62層，第一層使用普通密集FFN，后續層使用MoE。

團隊在預訓練期間將最大序列長度設置為8k，并在11.2T tokens上訓練dots.llm1。在主要訓練階段之后，該過程包括兩個退火階段，總共包含1.2萬億個數據tokens。

緊接著，團隊在退火階段之后實現上下文長度擴展。在這個階段，他們在使用UtK策略對128B標記進行訓練時保持恒定的學習率，將序列長度擴展到32k。UtK不是修改數據集，而是嘗試將訓練文檔分塊成更小的片段，然后訓練模型以從隨機分塊中重建相關片段。通過學習解開這些打結的塊，該模型可以有效地處理較長的輸入序列，同時保持其在短上下文任務上的性能。

在預訓練完成后，為了全面評估dots.llm1模型，團隊將該模型在中文和英文上進行了預訓練，團隊評估了它在每種語言中跨越多個領域的一套基準測試中的性能。如下圖所示，與DeepSeek-V2相比，只有14B激活參數的dots.llm1性能更佳，后者與Qwen2.5-72B水平相當。

dots.llm1在大多數域中表現出與Qwen2.5-72B相當的性能：1、在語言理解任務上，dots.llm1在中文理解基準測試中取得了較高性能，主要得益于數據處理管道。2、在知識任務中，雖然dots.llm1在英語知識基準上的得分略低，但它在中文知識任務上的表現仍然穩健。3、在代碼和數學領域，dots.llm1在HumanEval和CMath上獲得了更高的分數。有趣的是，在數學方面，我們觀察到dots.llm1在零樣本設置下的性能比少數樣本設置要好，提高了4個百分點以上。

以下損失曲線突出了訓練過程的一致穩定性。在6萬億個訓練token中，團隊將批處理大小從6400萬個調整為9600萬個，從8.3萬億次增加到1.28億次。在整個訓練期間，沒有出現無法恢復的損失峰值事件，也不需要回滾。

在預訓練及評估后，團隊在后訓練階段對模型進行了監督微調。

在數據混合方面，其基于開源數據和內部注釋數據收集了大約400k個指令調優實例，主要集中在幾個關鍵領域：多語言（主要是中文和英文）多輪對話、知識理解和問答、復雜的指令跟隨以及涉及數學和編碼的推理任務。

在微調配置方面，dots.llm1.inst的微調過程包括兩個階段。在第一階段，團隊對400k指令調優實例執行上采樣和多會話連接，然后對dots.llm1.inst進行2個epoch的微調。在第二階段，其通過拒絕采樣微調（RFT）進一步增強模型在特定領域（如數學和編碼）的能力，并結合驗證器系統來提高這些專業領域的性能。

結語：用高質量數據擴展大模型邊界

可以看到，dots.llm1定位是一種經濟高效的專家混合模型，“以小博大”。通過僅激活每個標記的參數子集，dots.llm1降低訓練成本，試圖提供了與更大的模型相當的結果。

相比于同行，小紅書認為自己的一大優勢是數據處理管道，可助其生成高質量的訓練數據。Dots.llm1證明了高效的設計和高質量的數據可以不斷擴展大型語言模型的能力邊界。