5月27日，在螞蟻技術(shù)日上，螞蟻集團(tuán)旗下的百靈大模型（Ling）團(tuán)隊(duì)宣布正式開源統(tǒng)一多模態(tài)大模型Ming-lite-omni。據(jù)螞蟻方面介紹，這是一款基于Ling-lite構(gòu)建的MoE架構(gòu)的全模態(tài)模型，其總參數(shù)22B，激活參數(shù)3B。

據(jù)悉，Ming-lite-omni當(dāng)前模型權(quán)重和推理代碼已開源，后續(xù)會(huì)陸續(xù)開源訓(xùn)練代碼和訓(xùn)練數(shù)據(jù)。

https://huggingface.co/inclusionAI/Ming-Lite-Omni

今年以來，百靈大模型已經(jīng)連續(xù)開源了多個(gè)模型產(chǎn)品，包括2個(gè)MoE架構(gòu)的大語言模型，Ling-lite和Ling-plus，多模態(tài)大模型Ming-lite-uni，以及Ming-lite-omni-preview。

其中，其中五月中旬開源了Ling-lite-1.5，據(jù)百靈方面介紹，“能力已經(jīng)接近同水位SOTA水平，介于千問4B和8B的水平。”螞蟻方面稱，這兩個(gè)模型在多個(gè)算力平臺(tái)（包括非Hopper架構(gòu)的國產(chǎn)算力）進(jìn)行訓(xùn)練，驗(yàn)證了300B尺寸的SOTA MoE大語言模型在非高端算力平臺(tái)上訓(xùn)練的可行性。

而本次開源的Ming-lite-omni產(chǎn)品在多項(xiàng)理解和生成能力評(píng)測(cè)中，性能與10B量級(jí)領(lǐng)先的多模態(tài)大模型相當(dāng)或更優(yōu)。螞蟻方面認(rèn)為，這是目前已知首個(gè)在模態(tài)支持方面能夠與GPT-4o相媲美的開源模型。

百靈大模型負(fù)責(zé)人西亭對(duì)媒體表示，百靈大模型的命名規(guī)則是Ling代表基礎(chǔ)大模型，Ring代表推理版本，Ming代表多模態(tài)大模型。百靈在過去主要在幾個(gè)方面做了聚焦，一個(gè)是很早做MoE架構(gòu)的探索，堅(jiān)定的在語言大模型和多模態(tài)大模型上面統(tǒng)一使用了MoE的架構(gòu)，同時(shí)使用了大量非高端的算力平臺(tái)，證明了國產(chǎn)GPU的“也能訓(xùn)練出來可比擬GPT4o的模型”。其次，百靈很重視多模態(tài)領(lǐng)域的探索，一直在推進(jìn)多模態(tài)的生成和理解的統(tǒng)一，而本次開源的Ming-lite-omin即是過去技術(shù)探索的成果。

百靈方面表示，團(tuán)隊(duì)下一步將持續(xù)優(yōu)化Ming-lite-omni在全模態(tài)理解和生成任務(wù)上的效果，并提升Ming-lite-omni的多模復(fù)雜推理能力；同時(shí)也會(huì)訓(xùn)練更大尺寸的全模態(tài)模型Ming-plus-omni。此外，根據(jù)西亭透露，百靈還在籌備Ling的Max版本，發(fā)布節(jié)點(diǎn)將會(huì)是“追尋跟（deepseek）V3的版本差不多的版本時(shí)開出去”。

（雷峰網(wǎng)）