北京
明敏 發自 凹非寺
量子位 | 公眾號 QbitAI
千呼萬喚，Qwen3終于來了！
一口氣上新8大模型，通通開源。
旗艦模型Qwen3-235B-A22B全方位超越R1、o1、o3-mini，最大杯稠密模型也以32B參數量達到了可觀水平。
小尺寸模型的表現也同樣亮眼，Qwen3-4B在數學、代碼能力上“以小博大”，和比自身大10倍模型水平相當。
本系列一共包括2個MoE模型和6個稠密模型。
- 小MoE模型Qwen3-30B-A3B
- MoE模型Qwen3-235B-A22B
- Qwen3-32B
- Qwen3-14B
- Qwen3-8B
- Qwen3-4B
- Qwen3-1.7B
- Qwen3-0.6B
它們均在Apache 2.0許可下開源。
經過后訓練的模型，例如Qwen3-30B-A3B，以及它們的預訓練基座模型（如 Qwen3-30B-A3B-Base），現已在 Hugging Face、ModelScope和Kaggle等平臺上開放使用。
對于部署，Qwen團隊推薦使用SGLang和vLLM等框架；而對于本地使用，則推薦Ollama、LMStudio、MLX、llama.cpp和KTransformers等。
網友：讓開源再次偉大！
現在，在Qwen Chat（網頁版）和通義APP中均能試用Qwen3。
值得一提的是，Qwen3還增強了對MCP的支持，具備更強的與環境交互的能力。
輕松破解7米甘蔗過2米門
Qwen3系列的亮點包括代碼、數學能力，并提出了思考/非思考模式切換，提供更具性價比的模型體驗。
思考模式下，模型會逐步推理；非思考模式提供更快速、近乎即時的響應。
比如“7米長的甘蔗如何通過2米高1米寬的門？” 的問題，Qwen3-235B-A22B知道可以通過傾斜一定角度讓甘蔗過門。
非思考模式等待了2秒左右即開始作答，思考模式則消耗了38912個token進行逐步推理。
36萬億token預訓練
所以Qwen3如何而來？
首先在數據上，Qwen3預訓練使用的數據約是Qwen2.5的2倍，達到36萬億token，涵蓋119種語言和方言。
并使用Qwen2.5處理數據。用Qwen2.5-VL提取PDF中的文本，在用Qwen2.5改進質量。數學和代碼方面，則利用Qwen2.5-Math和Qwen2.5-Coder來合成包括教科書、問答對以及代碼片段等多種形式的數據。
其次在預訓練方面，共分為3個階段。
在第一階段（S1），模型在超過30萬億個 token 上進行了預訓練，上下文長度為4Ktoken。這一階段為模型提供了基本的語言技能和通用知識。
在第二階段（S2），通過增加知識密集型數據（如 STEM、編程和推理任務）的比例來改進數據集，隨后模型又在額外的5萬億個 token 上進行了預訓練。
在最后階段，使用高質量的長上下文數據將上下文長度擴展到 32K token，確保模型能夠有效地處理更長的輸入。
由于模型架構的改進、訓練數據的增加以及更有效的訓練方法，Qwen3 Dense基礎模型的整體性能與參數更多的Qwen2.5基礎模型相當。
例如，Qwen3-1.7B/4B/8B/14B/32B-Base分別與 Qwen2.5-3B/7B/14B/32B/72B-Base表現相當。特別是在 STEM、編碼和推理等領域，Qwen3 Dense基礎模型的表現甚至超過了更大規模的Qwen2.5模型。
對于Qwen3 MoE基礎模型，它們在僅使用10%激活參數的情況下達到了與 Qwen2.5 Dense 基礎模型相似的性能。這帶來了訓練和推理成本的顯著節省。
最后在后訓練方面。共分為4個階段：
（1）長思維鏈冷啟動
（2）長思維鏈強化學習
（3）思維模式融合
（4）通用強化學習
第一階段使用長思維鏈數據對模型進行微調，涵蓋了數學、代碼、邏輯推理和 STEM 問題等多種任務和領域，增強模型基本推理能力。
第二階段進行大規模強化學習，利用基于規則的獎勵來增強模型的探索和鉆研能力。
第三階段在一份包括長思維鏈數據和常用的指令微調數據的組合數據上對模型進行微調，將非思考模式整合到思考模型中。
第四階段則在包括指令遵循、格式遵循和 Agent 能力等在內的 20 多個通用領域的任務上應用了強化學習，以進一步增強模型的通用能力并糾正不良行為。
在博客中，Qwen團隊表示，Qwen3的發布和開源將極大地推動大型基礎模型的研究與開發。
我們的目標是為全球的研究人員、開發者和組織賦能，幫助他們利用這些前沿模型構建創新解決方案。
更多細節可查看：
[1]Blog: https://qwenlm.github.io/blog/qwen3/
[2]GitHub: https://github.com/QwenLM/Qwen3
[3]Hugging Face: https://huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f
[4]ModelScope: https://modelscope.cn/collections/Qwen3-9743180bdc6b48
體驗方式：
https://chat.qwen.ai/
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
