上海
字節(jié)跳動豆包大模型團隊近日開源一項名為COMET的MoE架構(gòu)優(yōu)化技術(shù)，可將大模型訓(xùn)練效率提升1.7倍。論文顯示，該技術(shù)已實際應(yīng)用于字節(jié)的萬卡集群訓(xùn)練，實現(xiàn)數(shù)百萬GPU小時訓(xùn)練算力的節(jié)省。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
