機器之心原創

編輯：Sia

「造芯」不易，「用芯」更難。

大模型加速落地，國產芯片需求日盛，但模型真正能在國產芯上「開箱即用」者寥寥無幾——這關鍵的「最后一公里」，誰來鋪路？

現在，有個社區牽頭 「組隊攻堅」 ，給出了一種解法。

6 月 30 日，百度文心大模型 4.5 系列正式開源，并同步登陸 AI 開源社區——魔樂社區（ Modelers.cn ）。

趁熱打鐵，魔樂社區同步正式發起「模型推理適配協作計劃」（以下簡稱「適配計劃」），集結開發者、算法團隊、芯片廠商與推理工具伙伴，共建開源協同生態。

目標只有一個：讓大模型跑遍中國芯。

開源模型如何跑遍中國芯？

先拆解一下「適配」這件事到底在適配什么。

一個大模型順利實現推理應用落地，要跨越三道檻兒：

• 適配推理引擎：先讓引擎「讀懂」模型，能解釋其結構、識別其算子；
• 適配計算平臺：讓芯片「聽得懂」引擎分發的任務，高效完成各類操作；
• 適配上層調度：讓模型能被業務系統便捷接入調用，真正上線服務。

當前，業界已發展出多樣化的工具來支持大模型推理和適配的各個環節。

比如，vLLM 等高性能推理引擎，CANN、MUSA 等計算架構，FastDeploy、FlagServing 等部署工具，以及眾多開源的模型轉換、量化、融合工具等……這些工具在各自領域都發揮了重要作用，整個工具鏈其實已經相對完整。然而，挑戰在于如何有效連接和協同這些分散的工具鏈與適配經驗。因此，亟需一個跨環節的協作平臺與機制，把這些資源組織起來，解決「最后一公里」的適配難題。

于是，魔樂社區推出「模型推理適配協作計劃」，并動手做了幾件事。

第一件事，是把原來的「鏡像中心」升級為「工具中心」，位置也從「更多」菜單一躍來到首頁 C 位，對標模型庫、數據集 ——

這一調整絕非簡單的位置遷移，而是將開放的工具鏈提升至與模型、數據同等重要的生態基座地位。

現在，開發和部署工具，與模型庫、數據集并列首頁「C位」。

類似模型庫的運作邏輯，「工具」中心將提供模型轉換遷移工具，也將支持開發者上傳自己適配好的推理鏡像、工具鏈和運行環境，還可以對已有鏡像進行更新。

每次發布需社區審核，確保質量穩定、可復用。

與此同時，「工具」依舊保留了代碼托管能力，方便開發者在魔樂生態內實現適配共享。

換句話說，升級后的板塊就是想讓「環境跟著模型走」，將碎片化的適配經驗沉淀為標準化、可復用的結構化基礎設施，讓后續開發者無需重復造輪子，直接站在已有成果上推進適配和性能優化，大幅降低協作成本。

另一件事，是把托管板塊升級為協作空間。

以前，模型架構和權重文件一經上傳，基本就「塵埃落定」。但像 Readme 文檔、適配好的推理代碼等內容，卻得隨著芯片、工具鏈適配進展不斷更新。

比如，今天模型適配了一個芯片，明天又支持了另一種，這些信息和代碼都得有人來更新和上傳，并且不同開發者的適配成果可能分散在各處，難以匯總復用。

現在，在「協作空間」——

所有用戶均可提交 PR（代碼合并請求），共同參與文檔撰寫、適配代碼開發與推理配置優化。

文檔即代碼：Readme 不再是靜態說明，而是支持多人實時編輯的協作載體，適配進展、使用指南等信息實時同步。

比如，模型開發者上傳了一個大模型到魔樂社區，不止模型權重，還有配套的推理工具鏈。一旦模型被標記為「基礎模型」， 模型卡片就會自動開啟「協作」入口。

這時候，開發者可針對不同芯片上傳獨立的適配代碼分支，形成版本清晰的 「芯片適配庫」。

例如，如果有工程師想將模型適配跑在某款芯片上（例如昇騰），只需要點開「協作」按鈕，選擇目標推理引擎，新建一個「Ascend」文件夾，提交適配后的推理代碼，提個 PR，就能提交到社區。

社區會有審核機制，一旦驗證通過，就能被正式合入模型項目中，成為社區認可的適配版本。

每一個適配版本，就是一個獨立的子工程，版本分明，職責清晰，協作記錄也都有跡可循。

除代碼外，適配過程中產生的量化權重、優化配置等資產也可通過 PR 提交，形成完整的技術方案。

這種機制將分散的適配工作聚合到統一平臺,支持一鍵下載與二次開發, 避免了成果碎片化，讓每一次適配進展都能沉淀為社區共享的資產。

為了讓「適配計劃」真正跑起來，魔樂社區廣泛聯動產業力量。

一方面聯動壁仞科技、海光、華為（昇騰）、摩爾線程、沐曦、算能、燧原科技等國產算力廠商（按中文首字母排序，無先后順序），為開發者提供硬件、工具和技術支持。

另一方面，整合多元化適配和推理軟件生態，并聯合工具伙伴，助力開發者快速掌握適配工具鏈，實現跨硬件平臺與引擎組合的深度推理性能調優。

與此同時，還牽手伙伴共建教程、補文檔、傳經驗，手把手幫開發者跑通流程、填平坑點。

接下來，「適配計劃」 將持續開放，持續吸納更多芯片廠商、模型開發者與開發者加入；SIG（特別興趣小組）技術組也將進入常態化運作，聚焦適配技術攻堅與標準制定。

若此協作機制成功運轉，將有望解決國產芯片生態最棘手的 「協同短板」—— 讓模型與芯片的適配從 「零散突破」 走向 「體系化落地」，為國產 AI 算力生態的閉環構建提供關鍵支撐。

「適配計劃」背后

很多人還記得，DeepSeek-R1 爆火出圈后，一件不太常見的事發生了：國產芯片廠商「組團發聲」，紛紛宣布已完成對該模型的適配，并表示正在推進更多大模型的適配工作。

國產模型火了，國產算力也想借勢出圈。背后的邏輯其實很直接——

只有模型真能在國產芯片上穩定跑起來，芯片才有機會真正用起來。

但現實卻很尷尬：大模型加速落地，隨著金融、政務、制造等重點行業對「自主可控」的需求越來越強，國產芯片的出場機會越來越多，然而，真正能做到「即拿即用」的大模型，依舊寥寥無幾。

為什么會這樣？

首先，這和開源模型本身的特點有關。

開源大模型不是一個「裝好就能跑」的整包，它往往拆成模型架構、權重和推理代碼三塊。HuggingFace這樣的開源平臺聚焦模型分發和訓練等，并不側重構建異構算力的協同適配機制。

其次，是技術層面的現實難題。

國產芯片之間架構差異大，很多都有自己獨立的推理引擎。同一個模型，想讓它在不同芯片上跑得通、跑得快，就得「量身定制」——專門做適配、調度、優化。

比如，有的芯片需要做量化來壓縮模型體積，有的要進行算子融合來提速。

現在，這些活兒是誰在做？

一部分由模型廠商親自下場，但資源有限，很少有團隊會專門為不同國產芯片配專屬工程師。

更多時候，是芯片廠商主動出擊。隨著大模型推理結構的日趨標準化、算子體系逐步統一，「自己動手」的門檻已顯著降低。就像 DeepSeek 爆火之后，一些廠商為了盡快跑通，從芯片指令集到內存管理、數據傳輸都做了大幅調整。

還有一類，就是開發者出于興趣或業務需求自發適配。但這類工作高度分散、重復投入嚴重，質量也參差不齊。

對比之下，為什么 Hugging Face 上的模型大多都能在英偉達 GPU 上開箱即用？靠的不是單一廠商的「單點突破」，而是整個生態高度打通，工具鏈成熟完善。

這也是魔樂社區「適配計劃」要解決的核心問題——

不再單打獨斗，通過構建統一的協作框架，串聯模型開發者、芯片方、工具方與開發者，形成生態合力，一起把模型從「能發布」推到「即插即用」。

魔樂：AI 開源的「中國樣本」

為什么是魔樂來牽頭做這件事？

答案要從它的「出身」和「使命」說起。

2024年 8 月，在央企巨頭、中國電信天翼云的牽頭下，魔樂社區正式上線。與很多主打「模型集市」的開源平臺不同，魔樂從一開始就瞄準了另一個更現實、也更棘手的問題：

開源 AI 發展，要的不只是「代碼開放」，還得「能協同、能落地」。

模型當然重要，但真正推動國產AI 落地的，不只是一個個模型，而是支撐它們生長的底座系統——包括開源數據集、適配工具、部署引擎，乃至合規、調度、治理等基礎能力。

因此，魔樂選擇做一個中立、公益的開源社區，扮演「國產 AI 落地的基礎設施」。

他們從零搭出一套覆蓋模型、數據、工具、應用與算力五大板塊的開源協作體系。

社區已匯聚 1000+ 優質大模型、涵蓋 TeleChat、DeepSeek、Qwen、智譜等大模型，其中多數都已經適配好國產算力。

依托天翼云及「算力朋友圈」供給，社區可提供公益性國產化算力資源。

最直觀的體現就是魔樂推出的「在線體驗空間」：

基于社區提供的模型和算力，開發者可通過 Gradio 等主流 SDK 快速搭建 AI 應用，并一鍵部署、分享。

還有線上、線下的學習交流活動。

魔樂社區不只有在線平臺，最近還正式成立了理事會，進一步規范社區管理與生態共建。

「中國樣本」，步步為營

不到一年時間，魔樂就搭起了生態的基本盤——

已聚合超過 20 家深度合作伙伴，托管模型、數據、工具等各類開源項目累計突破 1 萬個；

首發多個昇騰適配大模型，推動模型實現國產化原生適配；

模型、數據與工具融合共建，已上線 200 多個國產化 AI 應用。

更重要的是，這套生態始終圍繞「產學研協同」展開，AI 落地的挑戰正在被「共建、共享」的生態范式一點點瓦解。

魔樂社區致力于發掘、打造和推廣好的項目。一方面，深耕高校等原生創新場景，定向發掘一批基于國產算力起步的潛力項目。

另一方面，通過「國產算力應用創新大賽」等機制，實戰中篩選優質標的，推動它們與底層算力平臺的深度適配與融合。

找到好項目只是起點，更關鍵的是——放大價值。

魔樂為項目提供從算力資源、工具鏈到調度框架、落地渠道的全棧支持，推動它們從 demo 走向產品、從實驗室走向產業化，讓每一個「跑得通」的應用都有「火出圈」的可能。

例如 Stable Diffusion WebUI、ComfyUI 雖在設計創作領域早已成名，但缺乏系統的國產適配支持。魔樂正加大力度，推動它們與國產工具鏈深度融合，加速落地，近期正式上線了 AIGC 專區，已實現基于國產算力的快速專業生圖。

如今，全國已有多個有影響力的 AI 開源社區，都在不斷推進國產 AI 能力的積累。

但這只是開始。

隨著大模型快速普及、國產軟硬件協同需求走強，AI 社區或將迎來真正的「井噴時刻」。

而魔樂選擇了一條更難、但也更有價值的路——不止做模型的「集市」，更要做模型、算力、工具的協作平臺。

堅持中立、公益、開放的定位，魔樂正推動大模型在「中國芯」上真正跑起來，成為國產AI算力生態自主可控與高效協同的重要支撐。