作者：王聰彬

生成式AI領域有個有趣的現象——每年年初總會迎來一波技術爆發。今年，DeepSeek率先發力，用突破性創新推動大模型真正走進現實應用。

其實，繼2023-2024年連續將“人工智能+”列為重點行動后，今年兩會政府工作報告首次明確將“支持大模型廣泛應用”納入行動計劃。這標志著“生成式AI”和“大模型“正式從技術概念上升到戰略層面，成為推動數字經濟發展的關鍵引擎。

IDC發布的《中國模型即服務(MaaS)及AI大模型解決方案市場追蹤，2024H1》調研結果也給出印證，報告顯示2024上半年中國AI大模型解決方案市場的規模為13.8億元人民幣，預計到2028年整體市場規模將達到211億元人民幣。

當前，大模型要實現大規模應用還面臨算力、能效、成本、多樣化場景等多個維度的關鍵挑戰。行業需求上則主要有兩大發展趨勢：一方面大模型部署正朝著更廣泛、更深度、更高效的方向演進，另一方面推理也從集中化的云端向端側延伸。

因此，構建云邊端協同的多元化算力體系已成為企業實現大模型規模化落地的關鍵路徑。作為全球領先的計算平臺公司，Arm正助力從云到端的大模型部署與高效運行，滿足企業對更高性能、更高能效以及更強本地處理能力的迫切需求。

開啟AI時代的架構創新

憑借高能效、高性能與卓越的靈活性，Arm技術持續為釋放AI大模型的潛能提供強大支持。Arm 于2021年推出了Armv9架構，正式開啟了AI時代。

近些年，Arm一直在持續投資Armv9架構，其集成了用于加速和保護LLM等先進的生成式AI工作負載的特性，比如可伸縮矩陣擴展(SME)和可伸縮矢量擴展(SVE2)兩大關鍵特性，可共同作用于Arm CPU，使其能夠快速高效地執行AI工作負載：

SME是Armv9-A架構中引入的指令集架構(ISA)擴展，能夠加速AI和ML工作負載，并為運行在Arm CPU上的AI和ML應用提供更高的性能、能效和靈活性。

SME使用量化技術（通常是從浮點表示法轉換為定點表示法）來降低AI和ML模型的內存帶寬需求、存儲占用空間以及計算復雜性，進而提高其效率，這對于計算密集型的生成式AI工作負載至關重要。

SVE2則有助于提升DSP任務性能，使處理復雜算法更加快速、高效。SVE2可將HDR視頻解碼速度提高約10%，這樣用戶在主流應用上觀看點播視頻時，能獲得更長的電池續航時間。通過加速常用的圖像處理庫，SVE2還增強了視頻通話期間用戶體驗的流暢度，同時提高了畫面質量。

云上AI新范式

在云端，Arm早在AI時代全面到來之前就已提前布局。六年多前，Arm推出了面向下一代云基礎設施的Neoverse計算平臺，憑借更低的能耗和成本，受到大型云服務提供商的青睞。

如今，亞馬遜云科技(AWS)、Google Cloud和Microsoft Azure等云服務提供商，均已采用Arm Neoverse計算平臺來打造自己的通用定制芯片，以改變數據中心和云計算中的能源使用方式。據統計，2025 年出貨到頭部超大規模云服務提供商的算力中，將有近50%是基于Arm架構。

基于 Arm Neoverse 技術的服務器所具備的低功耗特性，能帶來更優異的能效比。這對于大模型推理任務來說尤為重要，因為大模型通常需要大量的計算資源。同時，Arm還提供了完整的軟硬件支持與優化，使得大模型推理在基于Arm架構的服務器上運行更加便捷和高效。

比如，基于Arm Neoverse V2核心的AWS Graviton4 C8g.x16large實例在運行Llama 3 70B模型時，每秒可生成10個詞元。運行Llama 3 8B模型時，Graviton4的提示詞編碼性能較Graviton3提高了14%至26%，詞元生成性能提高了5%至50%。

基于Arm Neoverse N2架構的阿里云倚天710，在運行Llama 3和Qwen1.5等業內標準大語言模型時中表現出極高靈活性與擴展性。通過與Arm軟件團隊的緊密合作，阿里云對 llama.cpp 中的 int4 和 int8 GEMM 內核進行了優化，特別是利用了 SMMLA 指令來提高計算效率。在ecs.g8y.16xlarge實例上（配置 64 個 vCPU 和 256GB 內存），多次實驗結果顯示，每秒處理的詞元數量增加了2.7倍。

Arm還優化了FunASR語音識別模型，利用SVE2指令和BF16數據類型，使其在Arm Neoverse服務器上高效運行。通過動態量化，INT8和BF16數據格式的組合實現了1.5倍的效率提升，同時保持了精度，確保了FunASR等大模型在AI應用中的高效表現。

端側AI新高度

在端側，Arm于去年推出了終端計算子系統 (CSS)，整合了最新的Armv9.2 Cortex CPU集群、Arm Immortalis與Arm Mali GPU、CoreLink互連系統IP，并采用三納米工藝在知名代工廠實現CPU和GPU的物理生產。作為AI體驗的計算基礎，Arm終端CSS能夠在各種消費電子設備中實現性能、效率和可擴展性的顯著提升。

以Cortex-X925為例，它在AI性能方面實現了驚人的41%提升，顯著增強了設備端生成式AI（如LLM）的響應能力。借助終端CSS，LLM能夠在Arm CPU上更高效地運行，提供更快的響應速度。

從具體實例來看，Arm與Meta的緊密合作，使最新的Llama 3.2 LLM在Arm CPU上得以啟用，結合開源創新與Arm計算平臺的優勢，顯著推動了AI挑戰的解決。在Arm技術驅動的移動設備上優化Llama 3.2 3B LLM內核，提示詞處理速度可提高五倍，詞元生成速度提升三倍，生成階段達每秒19.92個詞元。此優化減少了設備端AI工作負載的延遲，顯著提升了用戶體驗。

在移動端的聊天應用中，基于Arm CPU，Llama 2 7B LLM無需加速器即可在邊緣設備上運行生成式AI工作負載。得益于Arm計算平臺對LLM的專門優化，其詞元首次響應時間縮短50%，文本生成速率提升20%，達到了每秒近10個詞元，超出人類閱讀速度，為用戶提供了流暢的生成體驗。

而隨著大模型在邊緣側的落地，行業對高性能與能效的需求也愈加迫切。為此，Arm近期發布了以全新的 Arm Cortex-A320 CPU 和領先的邊緣 AI 加速器 Arm Ethos-U85 NPU 為核心的Armv9邊緣AI計算平臺。

全新的邊緣AI計算平臺，較去年基于Cortex-M85搭配Ethos-U85的計算平臺提升了八倍的ML計算性能。該平臺不僅在AI計算能力方面取得了顯著突破，還將Armv9的安全特性引入到邊緣設備中。憑借其強大的性能，該平臺能夠支持邊緣AI設備輕松運行超過10億參數的大模型，有力推動了大模型與生成式AI在物聯網領域的落地。

軟硬結合解鎖AI算力

Arm在軟件領域的持續投入也為大模型的性能提升與加速落地提供了強有力的支持。2024年，Arm推出了KleidiAI，幫助AI框架開發者在各類設備上輕松發揮Arm CPU的最佳性能，并支持Neon、SVE2、SME2等關鍵Arm架構功能。

作為一套面向 AI 框架開發者的開源計算內核 ，KleidiAI能夠與PyTorch、TensorFlow、MediaPipe、Angel等主流AI框架無縫集成，從而加速Meta Llama 3、Phi-3、混元大模型等核心模型的性能，為生成式AI工作負載帶來顯著提升。

此外，KleidiAI還具備前后兼容性，確保Arm在引入新技術的同時，持續滿足未來市場的需求。目前，Kleidi的支持已覆蓋從基礎設施、智能終端到物聯網及汽車等全部Arm業務領域。

據了解，Arm與阿里巴巴淘天集團的輕量級深度學習框架MNN合作，通過Arm KleidiAI的集成，成功將多模態AI工作負載（Qwen2-VL-2B-Instruct模型）在搭載Arm CPU的移動設備上高效運行。經過優化，Qwen2-VL-2B-Instruct模型的運行和響應速度得到了顯著提升，模型預填充性能提升57%，解碼性能提升28%。這一提升可為阿里巴巴旗下眾多以客戶為中心的應用程序帶來更加出色的用戶體驗。

此外，Arm還與騰訊合作，將KleidiAI技術融入騰訊混元自研的Angel機器學習框架，提升了移動端AI服務的推理性能和效率。將KleidiAI集成至混元Angel AI框架中能為跨操作系統的各種基于Arm架構的設備帶來顯著的性能提升。具體來說，混元大模型的預填充部分加速了100%，解碼器的速度提高了10%。這些性能改善有助于實現更快、更高效的AI操作。

隨著AI的不斷演進，我們正在見證一個“算力為王”時代的悄然到來。在這一進程中，Arm不僅提供了強大的計算平臺，更通過卓越的軟硬件協同能力，成為推動未來AI發展的關鍵基座。

然而，這一進程不僅僅是算力的簡單疊加，更是跨越創新與應用場景的深刻轉型。從智能終端到智能駕駛、從云基礎設施到工業級物聯網，Arm正以突破性的技術為生成式AI注入新的動能。這不僅正在重塑行業格局，甚至有可能徹底改變我們的生活和社會運作方式。