貴州
來源：PaperAgent
月之暗面 AI（Kimi）HuggingFace開源了首個模型：Moonlight-16B-A3B，超過同等參數規模的DeepSeek、Qwen、Llama模型。
Moonlight對比Qwen2.5-3B、DeepSeek V2-Lite、Llama3.2-3B
最近，基于矩陣正交化的Muon優化器在訓練小規模語言模型方面展現出了強大的效果，但在擴展到更大規模模型方面的可行性尚未得到驗證。Kimi確定了兩項關鍵的技術手段，用于擴大Muon的應用規模：
增加權重衰減，
精細調整每個參數的更新規模。
這些技術手段使得Muon能夠在大規模訓練中直接投入使用，而無需進行超參數調整。規模擴展規律實驗表明，與采用計算優化訓練的AdamW相比，Muon實現了約2倍的計算效率提升。
基于這些改進，Kimi推出了Moonlight，這是一個擁有3B/16B參數的混合專家（Mixture-of-Expert，MoE）模型，使用Muon進行了5.7T tokens的訓練。與以往的模型相比，以更少的 FLOPs 實現了更好的性能。
開源了分布式Muon實現版本，該版本在內存使用上達到最優，并且通信效率很高。還發布了經過預訓練、指令微調以及中間checkpoints的模型，以支持未來的研究工作。
https://hf-mirror.com/moonshotai/Moonlight-16B-A3B-Instruct
https://hf-mirror.com/moonshotai/Moonlight-16B-A3B
https://github.com/MoonshotAI/Moonlight特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
