《科創板日報》30日訊,DeepSeek今日于AI開源社區Hugging Face上發布了一個名為DeepSeek-Prover-V2-671B的新模型。據悉,DeepSeek-Prover-V2-671B使用了更高效的safetensors文件格式,并支持多種計算精度,方便模型更快、更省資源地訓練和部署,參數達6710億,或為去年發布的Prover-V1.5數學模型升級版本。在模型架構上,該模型使用了DeepSeek-V3架構,采用MoE(混合專家)模式,具有61層Transformer層,7168維隱藏層。同時支持超長上下文,最大位置嵌入達16.38萬,使其能處理復雜的數學證明,并且采用了FP8量化,可通過量化技術減小模型大小,提高推理效率。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.