5月27日,在螞蟻技術日上,螞蟻集團旗下的百靈大模型(Ling)團隊宣布正式開源統一多模態大模型Ming-lite-omni。據螞蟻方面介紹,這是一款基于Ling-lite構建的MoE架構的全模態模型,其總參數22B,激活參數3B。
據悉,Ming-lite-omni當前模型權重和推理代碼已開源,后續會陸續開源訓練代碼和訓練數據。
https://huggingface.co/inclusionAI/Ming-Lite-Omni
今年以來,百靈大模型已經連續開源了多個模型產品,包括2個MoE架構的大語言模型,Ling-lite和Ling-plus,多模態大模型Ming-lite-uni,以及Ming-lite-omni-preview。
其中,其中五月中旬開源了Ling-lite-1.5,據百靈方面介紹,“能力已經接近同水位SOTA水平,介于千問4B和8B的水平。”螞蟻方面稱,這兩個模型在多個算力平臺(包括非Hopper架構的國產算力)進行訓練,驗證了300B尺寸的SOTA MoE大語言模型在非高端算力平臺上訓練的可行性。
而本次開源的Ming-lite-omni產品在多項理解和生成能力評測中,性能與10B量級領先的多模態大模型相當或更優。螞蟻方面認為,這是目前已知首個在模態支持方面能夠與GPT-4o相媲美的開源模型。
百靈大模型負責人西亭對媒體表示,百靈大模型的命名規則是Ling代表基礎大模型,Ring代表推理版本,Ming代表多模態大模型。百靈在過去主要在幾個方面做了聚焦,一個是很早做MoE架構的探索,堅定的在語言大模型和多模態大模型上面統一使用了MoE的架構,同時使用了大量非高端的算力平臺,證明了國產GPU的“也能訓練出來可比擬GPT4o的模型”。其次,百靈很重視多模態領域的探索,一直在推進多模態的生成和理解的統一,而本次開源的Ming-lite-omin即是過去技術探索的成果。
百靈方面表示,團隊下一步將持續優化Ming-lite-omni在全模態理解和生成任務上的效果,并提升Ming-lite-omni的多模復雜推理能力;同時也會訓練更大尺寸的全模態模型Ming-plus-omni。此外,根據西亭透露,百靈還在籌備Ling的Max版本,發布節點將會是“追尋跟(deepseek)V3的版本差不多的版本時開出去”。
(雷峰網)
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.