我們注意到近期開源社區(qū)及網(wǎng)絡(luò)平臺(tái)關(guān)于盤古大模型開源代碼的討論。
盤古 Pro MoE 開源模型是基于昇騰硬件平臺(tái)開發(fā)、訓(xùn)練的基礎(chǔ)大模型,并非基于其他廠商模型增量訓(xùn)練而來,在架構(gòu)設(shè)計(jì)、技術(shù)特性等方面做了關(guān)鍵創(chuàng)新,是全球首個(gè)面向昇騰硬件平臺(tái)設(shè)計(jì)的同規(guī)格混合專家模型,創(chuàng)新性地提出了分組混合專家模型(MoGE)架構(gòu),有效解決了大規(guī)模分布式訓(xùn)練的負(fù)載均衡難題,提升訓(xùn)練效率。其他技術(shù)特性創(chuàng)新,請參考昇騰生態(tài)競爭力系列技術(shù)報(bào)告披露內(nèi)容。
盤古 Pro MoE 開源模型部分基礎(chǔ)組件的代碼實(shí)現(xiàn)參考了業(yè)界開源實(shí)踐,涉及其他開源大模型的部分開源代碼。我們嚴(yán)格遵循開源許可證的要求,在開源代碼文件中清晰標(biāo)注開源代碼的版權(quán)聲明。這不僅是開源社區(qū)的通行做法,也符合業(yè)界倡導(dǎo)的開源協(xié)作精神。我們始終堅(jiān)持開放創(chuàng)新,尊重第三方知識(shí)產(chǎn)權(quán),同時(shí)提倡包容、公平、開放、團(tuán)結(jié)和可持續(xù)的開源理念。
感謝全球開發(fā)者與合作伙伴對盤古大模型的關(guān)注和支持,我們高度重視開源社區(qū)的建設(shè)性意見。希望通過盤古大模型開源,與志同道合的伙伴一起,探索并不斷優(yōu)化模型能力,加速技術(shù)突破與產(chǎn)業(yè)落地。
我們歡迎并期待大家在開源社區(qū) Ascend Tribe,就技術(shù)細(xì)節(jié)進(jìn)行深入、專業(yè)的交流
盤古 Pro MoE 技術(shù)開發(fā)團(tuán)隊(duì)
鄔賀銓院士:除了華為,其他都在用外國芯片!網(wǎng)友:自主可控才是米國忌憚的原因
零跑朱江明:未來中大型SUV賣五六萬,活下來的車企最多為手機(jī)廠數(shù)兩倍!網(wǎng)友:先騎二輪,坐等實(shí)現(xiàn)!
提到殲-10,印尼軍方發(fā)言人笑得嘴都合不攏了
美大使污蔑中國偷竊技術(shù)!中國專家霸氣回懟:你們根本沒有我們擁有的技術(shù)
巴鐵前外長:我們鎖定了20架印度戰(zhàn)機(jī),只選擇擊落其中6架,我們克制!
雷軍隔空回應(yīng)余承東,小米和華為在汽車方面接下來的競爭中,你更看好誰?
英偉達(dá)首席科學(xué)家坦言:美國禁令逼走大量人才,大多去了華為,反倒讓中國獲得很大的發(fā)展空間!
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.