智東西
作者 云鵬
編輯 漠影

今天，AI技術(shù)發(fā)展呈指數(shù)級(jí)增長，而AI創(chuàng)新也逐漸走向更底層的算法創(chuàng)新。

一味追求超大模型規(guī)模、超高硬件算力已經(jīng)不再是主流，通過底層算力架構(gòu)和前沿算法創(chuàng)新，硬件性能得以更充分地釋放、模型在實(shí)際應(yīng)用中的性能實(shí)現(xiàn)暴漲。

一系列底層技術(shù)革新讓AI創(chuàng)新加速涌入千行百業(yè)。

我們看到，行業(yè)更加聚焦AI在具體場(chǎng)景、具體應(yīng)用中的實(shí)際表現(xiàn)，關(guān)注模型實(shí)際解決任務(wù)的效率和成本，模型如何從可用能用走向易用好用？

這樣的行業(yè)大背景下，AI開放生態(tài)的發(fā)展完善變得至關(guān)重要，AI創(chuàng)新蓬勃發(fā)展、真正實(shí)現(xiàn)AI普惠，必然需要百花齊放而非一枝獨(dú)秀。

一方面，開放生態(tài)能更好地激發(fā)創(chuàng)新，讓技術(shù)可以更快速地迭代，大幅提升企業(yè)和開發(fā)者的創(chuàng)新效率；另一方面，開放生態(tài)可以更好地形成合力，事半功倍，加速AI普及，讓整個(gè)市場(chǎng)蛋糕更快做大。

在今年的鯤鵬昇騰開發(fā)者大會(huì)上，華為昇騰秀出了諸多重磅技術(shù)升級(jí)，通過構(gòu)建全棧開放生態(tài)、高能效的算力底座賦能開發(fā)者，這種加速AI涌向千行百業(yè)的開放模式具有極高行業(yè)價(jià)值：真正自主可控的中國AI創(chuàng)新基座，正愈發(fā)堅(jiān)實(shí)。

作為昇騰AI核心軟件平臺(tái)的昇騰異構(gòu)計(jì)算架構(gòu)CANN，無疑是此次大會(huì)的焦點(diǎn)，其分層開放策略，計(jì)算、通信、內(nèi)存等領(lǐng)域的硬核技術(shù)迭代創(chuàng)新，都是推動(dòng)AI開發(fā)效率與性能提升的關(guān)鍵。而諸多行業(yè)巨頭基于昇騰CANN技術(shù)和生態(tài)實(shí)現(xiàn)的優(yōu)秀案例，都證明其在實(shí)際應(yīng)用場(chǎng)景中落地的巨大潛力。

昇騰CANN，正為中國大模型創(chuàng)新提供更堅(jiān)實(shí)的底層支撐，帶來更多機(jī)遇。

一、深度開放夯實(shí)開發(fā)者武器庫，兼顧效率性能，三大核心技術(shù)突破重構(gòu)AI算力基因

創(chuàng)新與開放在AI新時(shí)代可以說是強(qiáng)綁定的兩個(gè)關(guān)鍵詞，唯有開放，才能更好地促進(jìn)創(chuàng)新。

直觀來看，昇騰CANN是連接昇騰硬件算力和上層AI應(yīng)用的關(guān)鍵，是真正實(shí)現(xiàn)硬件高效使能AI的核心技術(shù)平臺(tái)。當(dāng)下，如何實(shí)現(xiàn)AI在具體場(chǎng)景、具體產(chǎn)品中高效落地已經(jīng)成為行業(yè)焦點(diǎn)，結(jié)合自主可控需求的高漲，昇騰CANN的重要作用不言而喻。

自2024年宣布深度開放以來，昇騰CANN的開放深度、開放策略一直在持續(xù)迭代，華為昇騰計(jì)算業(yè)務(wù)總裁張迪煊在大會(huì)上提到，使能每一位創(chuàng)新者，激發(fā)創(chuàng)新潛能，就是昇騰CANN的核心理念。

▲華為昇騰計(jì)算業(yè)務(wù)總裁 張迪煊

2024年5月，昇騰AI開發(fā)者峰會(huì)官宣了深度開放策略，支持開發(fā)者基于昇騰進(jìn)行大模型原生創(chuàng)新；同年7月，昇騰CANN關(guān)鍵的高層組件開放代碼到Gitee社區(qū)，客戶和合作伙伴開始進(jìn)行自主創(chuàng)新，一系列優(yōu)秀案例加速涌現(xiàn)。

從能用到好用、易用，六年多時(shí)間里，昇騰AI生態(tài)穩(wěn)步迭代，昇騰CANN也在不斷進(jìn)化。從2023年大模型爆發(fā)浪潮中構(gòu)筑能力、厚積薄發(fā)，到2024年深度開放，幫助客戶加速落地，再到2025年創(chuàng)新走向底層，行業(yè)對(duì)極致性能的需求越來越高，同時(shí)需求差異化愈發(fā)凸顯，CANN不斷迎來新的挑戰(zhàn)。

可以看到，CANN的開放是與產(chǎn)業(yè)變化共同成長的，是有生命力的，是真正從產(chǎn)業(yè)中來到產(chǎn)業(yè)中去的，能夠幫產(chǎn)業(yè)解決問題，帶來價(jià)值的。

今天，從Ascend C算子編程語言、AOL算子加速庫、GE圖引擎、HCCL集合通信庫、畢昇編譯器、Runtime運(yùn)行時(shí)到Driver驅(qū)動(dòng)，昇騰CANN不斷豐富高層、底層組件，充實(shí)開發(fā)者們的武器庫，與AI創(chuàng)新扎向底層的大趨勢(shì)齊頭并進(jìn)。

開放生態(tài)是否優(yōu)秀、能否得到行業(yè)認(rèn)可、形成良性閉環(huán)，有兩個(gè)比較直觀易懂的評(píng)價(jià)維度：一個(gè)是開放模式是否易用適用、一個(gè)是開放的東西到底夠不夠好用。

分層開放是昇騰CANN一直堅(jiān)持的開放模式，可以更好地讓開發(fā)者匹配場(chǎng)景需求，進(jìn)而兼顧算子性能與開發(fā)效率。有豐富的參考樣例支持匹配場(chǎng)景魔改，進(jìn)而實(shí)現(xiàn)敏捷開發(fā)；底層原子級(jí)能力支持靈活組合，讓開發(fā)者可以更好地挖掘硬件性能。

昇騰CANN針對(duì)不同技術(shù)層級(jí)的開發(fā)者推出了差異化開放策略。比如在算法創(chuàng)新層，開發(fā)者可基于業(yè)務(wù)場(chǎng)景進(jìn)行”魔改式”創(chuàng)新；在系統(tǒng)優(yōu)化層，CANN開放了190多個(gè)底層接口，得以釋放硬件的原子級(jí)能力。

在編譯生態(tài)層，通過開放畢昇編譯器的AscendNPU IR接口，開發(fā)者可以在接入Triton后直接使用Python語法編寫高性能算子，底層硬件差異被完全抽象化，這可以說是開發(fā)范式的變革。

除了分層開放架構(gòu)對(duì)開發(fā)效率的提升，昇騰CANN在核心技術(shù)層面的突破是AI算力重構(gòu)、硬件性能充分釋放的關(guān)鍵，計(jì)算、內(nèi)存、通信可以說是實(shí)現(xiàn)這一目標(biāo)“三駕馬車”。

計(jì)算層面，針對(duì)MoE大模型訓(xùn)練場(chǎng)景的”卡脖子”難題，昇騰CANN推出了超級(jí)算子MLAPO，將MLA前處理耗時(shí)從行業(yè)平均109ms壓縮至45ms，在金融風(fēng)控模型、廣告推薦系統(tǒng)中實(shí)現(xiàn)了20%以上的端到端性能提升，打破Transformer架構(gòu)的算力瓶頸。

內(nèi)存層面，面對(duì)動(dòng)態(tài)shape場(chǎng)景的”內(nèi)存碎片化”痼疾，CANN研發(fā)的多重地址映射技術(shù)可以實(shí)現(xiàn)內(nèi)存碎片的自動(dòng)化拼接利用，讓京東商品搜索、騰訊短視頻推薦等業(yè)務(wù)場(chǎng)景的內(nèi)存利用率提升了20%以上，突破了單卡可承載并發(fā)請(qǐng)求量行業(yè)極限。

在分布式訓(xùn)練領(lǐng)域，CANN打造的NPUDirect通信算法將傳統(tǒng)RDMA通信所需的3對(duì)同步精簡為1次原子操作，讓科大訊飛語音大模型的跨機(jī)通信時(shí)延下降了90%，走通了萬卡級(jí)分布式訓(xùn)練可行性路徑。

值得注意的是，技術(shù)領(lǐng)先的基礎(chǔ)是架構(gòu)層面的領(lǐng)先，昇騰NPU+昇騰CANN的模式徹底打破了海外主流算力平臺(tái)的獨(dú)大，在效率、成本上都實(shí)現(xiàn)了快速看齊甚至是超越，這是中國自主可控AI算力架構(gòu)底座的底氣所在。

可以看到，三個(gè)領(lǐng)域的核心技術(shù)突破形成的協(xié)同效應(yīng)，一方面實(shí)現(xiàn)了單點(diǎn)性能的指數(shù)級(jí)提升，同時(shí)構(gòu)建起了“芯片級(jí)優(yōu)化+系統(tǒng)級(jí)調(diào)度+集群級(jí)協(xié)同”的全棧能力，AI算力技術(shù)正式邁入”原子級(jí)精準(zhǔn)調(diào)優(yōu)”的時(shí)代。

二、30+產(chǎn)學(xué)伙伴入局，中國智算擁抱昇騰AI生態(tài)，海量AI底層創(chuàng)新涌現(xiàn)

昇騰CANN已經(jīng)為行業(yè)搭好舞臺(tái)，隨著深度開放策略的逐步深化，各路行業(yè)頭部企業(yè)、優(yōu)秀開發(fā)者以及高校團(tuán)隊(duì)都亮出了諸多亮眼的創(chuàng)新成果。自主可控的中國AI底層創(chuàng)新所涌現(xiàn)出的巨大潛力，令人欣喜。

從巨頭到創(chuàng)企，從高校到個(gè)人，我們看到昇騰CANN正在諸多領(lǐng)域加速AI創(chuàng)新的涌現(xiàn)。

比如科大訊飛的訊飛星火大模型X1就基于Ascend C進(jìn)行了極致軟硬協(xié)同優(yōu)化，雙方團(tuán)隊(duì)針對(duì)諸多關(guān)鍵算子進(jìn)行了共創(chuàng)共研，性能收益十分顯著。

科大訊飛副總裁、AI工程院院長潘青華提到，訊飛和昇騰的結(jié)緣可以追溯到2019年，訊飛使用昇騰從敢用、真用、會(huì)用到用好走過了四個(gè)階段，今年3月，訊飛基于昇騰算力率先實(shí)現(xiàn)了MoE模型大規(guī)模跨節(jié)點(diǎn)并行集群的推理，整個(gè)推理的性能提升了3倍。

作為AI Infra創(chuàng)企的無問芯穹也與昇騰一起，基于CANN進(jìn)行深度優(yōu)化創(chuàng)新，針對(duì)大模型推理集群部署中的通信開銷問題進(jìn)行技術(shù)攻關(guān)，實(shí)現(xiàn)單算子性能提升20%，顯著降低了算力資源消耗。

可以看到，如今算法和應(yīng)用的創(chuàng)新已經(jīng)從單點(diǎn)創(chuàng)新變成了軟硬協(xié)同的系統(tǒng)性創(chuàng)新，昇騰與企業(yè)之間的合作就更為重要，算法和應(yīng)用對(duì)于硬件的需求可以被更早的傳遞。AI算法應(yīng)用可以跑的更穩(wěn)、跑的更快，CANN正幫助企業(yè)以更低成本、更高性能加速AI應(yīng)用落地。

在高校科研領(lǐng)域，清華大學(xué)計(jì)圖團(tuán)隊(duì)聯(lián)合昇騰研發(fā)的MoE專用算子體系，通過調(diào)用aclGraph模型調(diào)度接口與INT4量化技術(shù)，將DeepSeek-R1模型的推理時(shí)延降低50%，驗(yàn)證了原子能力組合創(chuàng)新的巨大潛力。

西北工業(yè)大學(xué)軟件學(xué)院副教授、中國人工智能協(xié)會(huì)智能交互專委會(huì)委員徐韜團(tuán)隊(duì)基于CANN平臺(tái)構(gòu)建垂直模型，通過多模態(tài)感知技術(shù)對(duì)抑郁癥患者進(jìn)行初篩，整個(gè)系統(tǒng)目前已經(jīng)部署到西安交大第一附屬醫(yī)院。

功能足夠強(qiáng)大、生態(tài)優(yōu)秀，同時(shí)自主可控，這是徐韜教授團(tuán)隊(duì)最看重三點(diǎn)，也是昇騰CANN的優(yōu)勢(shì)所在。

華南理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院教授、博士生導(dǎo)師陸璐提到，他們從2022年就開始了與華為的合作，他們希望能在國內(nèi)平臺(tái)上“把跑不起來的應(yīng)用跑起來”，達(dá)到更好的性能。

▲華南理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院教授、博士生導(dǎo)師陸璐

在探索中他們發(fā)現(xiàn)，只要熟悉昇騰編程平臺(tái)，了解其體系架構(gòu)，經(jīng)過不斷優(yōu)化，性能可以從50%提升到100%，甚至在某些應(yīng)用場(chǎng)景達(dá)到200%到500%。

值得一提的是，高校科研成果可以與昇騰CANN生態(tài)融合，進(jìn)一步促進(jìn)雙方的共同成長，給產(chǎn)業(yè)帶來更大價(jià)值。

比如陸教授團(tuán)隊(duì)參與開源的模板庫就可以提升開發(fā)者的開發(fā)效率，同時(shí)，團(tuán)隊(duì)開發(fā)的算子以及編譯優(yōu)化的工具可以直接嵌入到CANN中，提升昇騰基礎(chǔ)軟件庫的性能。

我們可以看到，昇騰CANN平臺(tái)是一個(gè)開放性平臺(tái)，同時(shí)也是一個(gè)成長性平臺(tái)，只有產(chǎn)學(xué)界各方加入到生態(tài)當(dāng)中，共同繁榮生態(tài)圈，才能使其更好的進(jìn)步。

除了與企業(yè)和高校碰撞出火花，昇騰CANN同樣給個(gè)人優(yōu)秀開發(fā)者帶來了巨大價(jià)值和影響。

天津理工大學(xué)電氣工程與自動(dòng)化學(xué)院人工智能專業(yè)2022級(jí)學(xué)生王富平從2023年就開始參加昇騰AI創(chuàng)新大賽，隨后一直扎根昇騰AI技術(shù)中，在昇騰CANN異構(gòu)計(jì)算架構(gòu)等領(lǐng)域都進(jìn)行了研究探索，廣泛參與各類創(chuàng)新大賽并取得創(chuàng)新成果。

▲王富平

王富平也成為了首屆“求實(shí)創(chuàng)新班”成員，天津市首位華為開發(fā)者布道師。昇騰AI讓諸多優(yōu)秀個(gè)人開發(fā)者有機(jī)會(huì)接觸最前沿的技術(shù)和知識(shí)，在實(shí)現(xiàn)個(gè)人價(jià)值的同時(shí)貢獻(xiàn)更多社會(huì)價(jià)值，昇騰CANN生態(tài)也在諸多優(yōu)秀開發(fā)者的支持下快速成長。

從產(chǎn)業(yè)、科研到個(gè)人，昇騰CANN給中國科技帶來的影響必將是深遠(yuǎn)的。

目前，昇騰已經(jīng)聯(lián)合互聯(lián)網(wǎng)大廠、運(yùn)營商、大模型廠商等30多個(gè)客戶伙伴創(chuàng)新孵化出260多個(gè)高性能算子，覆蓋了主流AI場(chǎng)景，平均整網(wǎng)性能提升超過10%，這無疑是技術(shù)創(chuàng)新和商業(yè)落地的雙重突破。

與此同時(shí)，昇騰CANN社區(qū)已經(jīng)上線了超過15個(gè)HCCL通信算法及API。通信領(lǐng)域昇騰聯(lián)合10多個(gè)客戶伙伴實(shí)現(xiàn)了平均50%以上的通信效率提升。

從硬件廠商到模型廠商，從底層算子算法創(chuàng)新到上層訓(xùn)推平臺(tái)創(chuàng)新，從高校個(gè)人到科研團(tuán)隊(duì)，昇騰CANN創(chuàng)新生態(tài)的深度廣度都在快速拓展，中國智算產(chǎn)業(yè)中堅(jiān)力量悉數(shù)到場(chǎng)。

三、昇騰CANN跑出“中國速度”，從技術(shù)到商業(yè)生態(tài)閉環(huán)，為AI自主創(chuàng)新打牢基建

今天，廣大企業(yè)開發(fā)者和個(gè)人開發(fā)者紛紛將創(chuàng)新成果進(jìn)行分享，為昇騰生態(tài)不斷添磚加瓦，中國AI創(chuàng)新的共贏故事，正在各個(gè)行業(yè)各個(gè)領(lǐng)域開花結(jié)果，CANN給產(chǎn)業(yè)帶來的價(jià)值正愈發(fā)凸顯。

根據(jù)昇騰官方數(shù)據(jù)，6年來，有超過60萬開發(fā)者了解CANN、使用CANN、賦予CANN創(chuàng)新活力，在昇騰CANN持續(xù)推進(jìn)開放，以及產(chǎn)業(yè)各方開發(fā)者、企業(yè)積極參與之下，CANN生態(tài)正在快速成長。目前CANN的算子認(rèn)證開發(fā)者已經(jīng)超過了6000人。

從整網(wǎng)性能和通信效率顯著提升，到大模型推理性能的暴漲，再到構(gòu)筑覆蓋模型開發(fā)、訓(xùn)練加速、部署優(yōu)化的全鏈路技術(shù)生態(tài)，CANN正在加速使能多維度創(chuàng)新。

很多人將昇騰CANN比作“中國版CUDA”，但實(shí)際上，CANN用6年時(shí)間就走完了CUDA十幾年的路，這本身已經(jīng)是一個(gè)奇跡。如今基于昇騰NPU+昇騰CANN技術(shù)生態(tài)所能實(shí)現(xiàn)的AI應(yīng)用性能已經(jīng)能夠看齊甚至超越CUDA，這更是難能可貴的。

而這遠(yuǎn)不是終點(diǎn)，相比CUDA，昇騰CANN生態(tài)顯然在開放的廣度、深度上都更進(jìn)一步。作為后來者、挑戰(zhàn)者的昇騰，并不會(huì)像CUDA一樣構(gòu)建技術(shù)壁壘，而是會(huì)始終堅(jiān)持開放，昇騰希望給開發(fā)者提供一個(gè)更加自由的平臺(tái)，真正給中國AI創(chuàng)新應(yīng)用底層鋪路筑基，釋放中國AI創(chuàng)新的巨大潛力。

昇騰CANN正在用一種“基礎(chǔ)層開放+應(yīng)用層共創(chuàng)”的雙輪驅(qū)動(dòng)模式，推動(dòng)國產(chǎn)AI產(chǎn)業(yè)鏈的協(xié)同進(jìn)化，形成從技術(shù)突破到商業(yè)轉(zhuǎn)化的生態(tài)閉環(huán)。

如今有越來越多的企業(yè)在昇騰社區(qū)上獲取到有價(jià)值的技術(shù)，進(jìn)一步加速自身的商業(yè)成功，也有越來越多的高校學(xué)者、研究團(tuán)隊(duì)在昇騰CANN生態(tài)中取得科研成就，進(jìn)一步實(shí)現(xiàn)社會(huì)價(jià)值。

正如陸璐教授所說，他們基于昇騰平臺(tái)的研究得到了社會(huì)的認(rèn)可，實(shí)現(xiàn)了更好的效果，幫助國內(nèi)平臺(tái)真正做到了自主創(chuàng)新，提升了我國的算力水平，這是他們團(tuán)隊(duì)獲得最大成就感的地方。

昇騰CANN正不斷加速基礎(chǔ)軟件算法創(chuàng)新，促進(jìn)多樣性計(jì)算產(chǎn)業(yè)發(fā)展和生態(tài)繁榮，如今的CANN正在成為中國開發(fā)者生態(tài)最活躍、技術(shù)迭代最迅猛的AI創(chuàng)新平臺(tái)。

與此同時(shí)，昇騰CANN也基于昇騰開放平臺(tái)提供了完善的人才培養(yǎng)機(jī)制，從教學(xué)、培訓(xùn)、研究到各類舉辦各類賽事，頂級(jí)AI創(chuàng)新人才不斷涌現(xiàn)。

對(duì)于中國AI產(chǎn)業(yè)來說，昇騰AI生態(tài)是實(shí)現(xiàn)自立自強(qiáng)的堅(jiān)強(qiáng)依靠，也是國內(nèi)科技企業(yè)去構(gòu)建自主創(chuàng)新的AI基礎(chǔ)設(shè)施的必然選擇。

結(jié)語：AI底層創(chuàng)新突圍，開放生態(tài)+技術(shù)創(chuàng)新是必由之路

可以看到，從分層開放的生態(tài)架構(gòu)到計(jì)算、內(nèi)存、通信等領(lǐng)域的一系列底層技術(shù)突破，昇騰CANN一手開放、一手技術(shù)，正給產(chǎn)業(yè)帶來AI創(chuàng)新的新范式。

面對(duì)未來的AI新時(shí)代，技術(shù)的變革不斷加速、生態(tài)體系的構(gòu)建越來越重要，CANN正成為中國優(yōu)秀開發(fā)者們?cè)絹碓绞煜ぁ⒃絹碓秸J(rèn)可的“伙伴”，從可用能用到易用好用，逐漸走向舞臺(tái)中央，屬于昇騰CANN的時(shí)代，正拉開帷幕。

這不僅是一場(chǎng)硬件算力的革命，更是一場(chǎng)開發(fā)者與技術(shù)的共同進(jìn)化。昇騰CANN正幫助中國AI產(chǎn)業(yè)中的企業(yè)和開發(fā)者不斷突破底層算法創(chuàng)新的瓶頸，釋放潛力，推動(dòng)中國AI發(fā)展從追趕走向引領(lǐng)。