新智元報道

編輯：編輯部

【新智元導讀】模型落地中國芯取得關鍵突破！這得益于一個AI開源社區(qū)，以生態(tài)協(xié)作之力打通了AI落地的最后一公里。目前已有上千模型成功適配國產(chǎn)算力。從此，國產(chǎn)算力孤島徹底打破，眾多AI廠商積極上車，開發(fā)者狂喜！

這是一張魔改的4090顯卡，它有48GB顯存，價格2萬元。

這是蘋果最高配置的Mac Studio，它支持512GB統(tǒng)一內存，價值約10萬元。

這是英偉達GB200 NVL72服務器，它搭載了36個Grace CPU和72個Blackwell GPU，總顯存高達13.5TB，售價超過2000萬元。

隨著開源模型的爆發(fā)，國產(chǎn)模型自2024年起不僅在數(shù)量上實現(xiàn)了猛增，而且還在性能上長期霸占著全球的SOTA。

在如此豐富的生態(tài)之下，不管是企業(yè)還是極客，都在想辦法「玩轉」大模型。

軟件上，眾多開源社區(qū)興起，像Hugging Face等社區(qū)等可以下載到國內外最新的開源模型。

硬件上，華強北在大秀「焊接工藝」，國外的科技巨頭則搞出了堪比硬盤容量的巨大內存。與此同時，國產(chǎn)芯片也在加速崛起，比如華為的昇騰Ascend系列、寒武紀的思元系列。

然而，相比于開源模型在英偉達AMD和蘋果上的「即拿即用」體驗相比，國產(chǎn)芯片運行大模型常需額外適配。

這一差距源于多重挑戰(zhàn)：

• 國產(chǎn)芯片自身之間存在較大的架構差異，需針對性重構優(yōu)化推理邏輯。

• • 每個芯片都有自己配套的推理引擎，需要專門適配、調度、加速。

  • 部署方案需要「量身定制」，比如通過「量化」壓縮體積，或者通過「算子融合」提高速度。

  • 由此也讓模型和國產(chǎn)芯片的一對多適配，成本陡增。

• 適配工作要依靠模型廠商、芯片企業(yè)和開發(fā)者的自發(fā)投入，力量非常分散、高度碎片化。

并且，開源大模型不是一個像過去軟件時代GitHub上的某個「整包軟件」，而是包含三個部分：模型架構+預訓練權重+推理代碼。

主流平臺（如Hugging Face）雖高效分發(fā)模型，卻并不注重模型的異構算力適配。由于缺乏協(xié)同平臺，導致異構算力推理適配重復開發(fā)率高。

在此背景下，有一個AI開源社區(qū)，以開源模型推理適配的協(xié)作模式破局。

這就是魔樂社區(qū)——Modelers.cn，AI愛好者和開發(fā)者的家園。

那么，這個魔樂社區(qū)和我們熟知的Hugging Face等平臺有什么區(qū)別呢？

大模型開源社區(qū)，應該是什么樣子？

過去Linux代表的開源軟件有三個特征：源碼開放、源碼分發(fā)以及最重要的源碼協(xié)作。

GitHub通過Git倉庫實現(xiàn)了這一點，讓代碼協(xié)作成本極低，任何人都能本地運行、參與迭代。但大模型的開源生態(tài)，顯然要復雜得多。

開源大模型可以拆解為：模型架構、模型權重和推理代碼三個部分。

• 模型架構：基本都開源，也基本是經(jīng)典的Transformer，或者如MoE等其他變種，總之查閱論文就可以看到；

• 模型權重：也就是模型的參數(shù)，也基本上都會在Hugging Face等類似平臺開源分發(fā)，下載即可；

• 推理代碼：指的是用于加載權重、執(zhí)行模型計算、生成文本的程序，決定了模型是否可以在你的設備上跑起來，以及怎么跑、跑得多快。這是模型開源最關鍵的環(huán)節(jié)之一，直接決定你能否順利使用。

模型創(chuàng)作者的精力主要聚焦在模型訓練和基礎開源等相關工作，難以兼顧在各種硬件上的推理適配。

而這也導致了一種尷尬的局面：「開源模型，閉源體驗」。

很多人想玩大模型，好不容易下載完開源模型的權重，卻發(fā)現(xiàn)因為缺乏適配自身硬件（如國產(chǎn)芯片）的推理代碼，根本跑不動。

HF雖提供通用接口，但對異構算力的深度適配缺乏系統(tǒng)性支持。

Ollama、LMStudio等工具試圖降低門檻，但它們也更多是「消費者」式的封裝——用戶能便捷使用，但是難以參與底層適配優(yōu)化。

而魔樂社區(qū)的差異，就在于從「模型分發(fā)」轉向「全鏈路協(xié)作」：不止提供模型與權重，更聚焦模型的協(xié)同開發(fā)和適配，實現(xiàn)「開源模型，開源體驗」。

為國產(chǎn)AI，建一個更完善的開源生態(tài)！

所謂生態(tài)，尤其是開源技術生態(tài)通常有兩種形態(tài)：

• 一種是共同體生態(tài)，例如Linux，以核心項目為錨點，開發(fā)者為這個項目不斷添磚加瓦。

靠著熱愛和極客精神，Linux和Windows、MacOS并駕齊驅，后兩者都是這個星球上最有錢的兩家公司的閉源產(chǎn)品。

• 另外一種就是平臺型生態(tài)，例如GitHub、Hugging Face，提供標準化的基礎設施。

你可以在GitHub上找到前端、后端、Python、Go、數(shù)據(jù)庫等幾乎所有技術棧開源項目；也可以在Hugging Face上找到DeepSeek-R1、通義千問、Llama等各種模型，模型尺寸從1B到500B應有盡有。

Hugging Face和GitHub雖然都是開源平臺，但由于AI技術的特殊性，兩者在適用性上存在顯著差異。

GitHub作為通用代碼托管平臺，其項目通常具備跨平臺特性，能夠適配Linux、Windows、macOS等多種操作系統(tǒng)，支持全球開發(fā)者協(xié)作開發(fā)。

而Hugging Face作為AI模型共享平臺，其項目往往對計算硬件有較高要求，特別是依賴特定硬件生態(tài)進行模型訓練和推理，在國產(chǎn)芯片等異構硬件上的適配存在門檻。

此外，國際平臺的地緣政治風險也不容忽視，可能對國產(chǎn)模型的開源傳播構成潛在限制。

這就是AI開源生態(tài)中最大的那個問題：構建自主可控的AI開源生態(tài)，不僅是技術問題，更是戰(zhàn)略需求。我們需要一個更開放、更適配國產(chǎn)硬件的AI開源平臺，讓全球開發(fā)者無障礙參與。

魔樂作戰(zhàn)計劃

當然，AI生態(tài)的完善是系統(tǒng)性工程——硬件迭代、工具打磨、推理引擎優(yōu)化、算子庫建設等環(huán)節(jié)，都需要長期積累，難以一蹴而就。

盡管面臨諸多挑戰(zhàn)，但魔樂還是堅定的選擇深耕這條道路，并肩負起了屬于它的使命：

1. 團結國產(chǎn)人工智能的產(chǎn)業(yè)鏈，推動協(xié)同

2. 務實地解決產(chǎn)業(yè)鏈的核心痛點

3. 通過開源協(xié)作與知識共享，加速人才成長

4. 壯大AI開發(fā)者和愛好者群體，形成一個「貢獻-受益」的正向循環(huán)

考慮到行業(yè)的發(fā)展進程，魔樂社區(qū)將當前的任務重點聚焦在打通打通模型與國產(chǎn)硬件的適配壁壘，讓開源生態(tài)的協(xié)同價值真正落地。

讓模型跑遍「中國芯」

模型既然都開源了，大家都可以下載使用了，鏈條似乎都打通了，那產(chǎn)業(yè)鏈問題從何談起？

年初，DeepSeek引燃了全球對于開源模型的激情，但也暴露出模型適配的產(chǎn)業(yè)鏈難題。

因為模型推理并非簡單的下載和移植，而是需要確保模型在目標硬件上實現(xiàn)高性能、低延遲和高穩(wěn)定運行。

我們無法否認的現(xiàn)狀是：國內AI芯片的發(fā)展勢頭一片大好，但模型與硬件的適配生態(tài)仍面臨挑戰(zhàn)：大量開源模型無法直接在國產(chǎn)芯片上高效運行，適配工具分散、技術標準不統(tǒng)一，導致算力有了，模型卻用不起來。

如何解決這個問題，就是魔樂社區(qū)的差異化價值：不止于模型分發(fā)，更聚焦「模型-硬件」的深度適配協(xié)同。

在魔樂上，你可以找到國產(chǎn)化適配的各類模型，既有主流的DeepSeek-V3，也有醫(yī)療垂直領域的大模型

目前大部分AI開源平臺以模型分發(fā)和使用為主，沒有解決模型推理適配的協(xié)同開發(fā)問題，亟需公共生態(tài)平臺破解協(xié)同效率難題。

為此，魔樂社區(qū)推出「模型推理適配協(xié)作計劃」，通過集合開源和開發(fā)者力量，打通國產(chǎn)算力與大模型應用的「最后一公里」。

• 開放協(xié)作機制：號召開發(fā)者、算法團隊、硬件廠商與應用方協(xié)同參與，解決模型在國產(chǎn)芯片上的兼容性、性能及穩(wěn)定性難題；

• 提供全棧支持：共建適配知識庫，為選定模型提供從工具、流程、教程等的支持。

• 生態(tài)基礎設施：打造適配成果共享平臺，實現(xiàn)推理適配結果的高效檢索、復用與迭代。

與此同時，魔樂社區(qū)還將為參與者構建強大的底層支撐體系，啟動國產(chǎn)硬件與相應工具生態(tài)的深度對接。

他們除了會聯(lián)動壁仞科技、海光、華為（昇騰）、摩爾線程、沐曦、算能、燧原科技等國產(chǎn)算力廠商（按中文首字母排序，無先后順序），為開發(fā)者提供硬件、工具和技術支持外。

還會整合多元化適配和推理軟件生態(tài)，并聯(lián)合生態(tài)伙伴，助力開發(fā)者快速掌握適配工具鏈，實現(xiàn)跨硬件平臺與引擎組合的深度推理性能調優(yōu)。

不可否認的是，因為比起英偉達CUDA生態(tài)先天優(yōu)勢，國產(chǎn)算力生態(tài)目前仍有差距。

魔樂社區(qū)，也希望能破局突圍，通過硬件廠商、軟件工具鏈與開發(fā)者的協(xié)同體系，打造出一個高效、開放、可深度參與的閉環(huán)生態(tài)，加速模型遷移、部署與應用效率。

用協(xié)作打破孤島

當前AI開源生態(tài)還處于非常早期的階段。

多數(shù)平臺目前雖然有很多開源項目，但多以模型托管和分發(fā)為核心。

魔樂社區(qū)的誕生，正是為了突破這一局限——破解開源模型與國產(chǎn)算力的適配協(xié)作壁壘。

具體來看，當開源模型入駐魔樂社區(qū)后，社區(qū)將激活模型開發(fā)者、芯片廠商、工具方等多方協(xié)同：開發(fā)者可深度參與推理代碼優(yōu)化，甚至適配各類推理引擎；芯片與工具廠商提供技術支持，共同推動適配方案迭代。

經(jīng)社區(qū)審核與持續(xù)打磨，這些協(xié)作成果能在短期內實現(xiàn)模型在主流國產(chǎn)芯片上的順暢運行，且性能隨優(yōu)化不斷提升。

這一過程中，各方投入被簡化：芯片廠商無需額外投入大量資源，模型團隊可專注核心訓練，工具廠商僅需提供基礎支持。以最小成本參與，卻能通過社區(qū)平臺匯聚成生態(tài)合力，加速模型從開源到落地的全流程。

這種協(xié)作模式并非個例，而是適用于所有開源模型的普適性路徑

模型的推理適配協(xié)作是個起點，接下來，魔樂社區(qū)將分階段推進生態(tài)建設：第二階段計劃實現(xiàn)模型、數(shù)據(jù)與應用層的協(xié)同聯(lián)動；第三階段則聚焦訓練環(huán)節(jié)的協(xié)作體系搭建，讓模型研發(fā)過程更高效地匯聚開發(fā)者智慧。

待推理協(xié)作機制成熟后，社區(qū)還將探索提供公益性算力支持部署，進一步降低開發(fā)者的落地門檻。

當前開源模型數(shù)量已超數(shù)萬，但能與國產(chǎn)算力深度適配的僅數(shù)百款，多數(shù)模型仍依賴Ollama、vLLM等國外工具鏈運行。這種「模型多、適配少」的現(xiàn)狀，凸顯了國產(chǎn)算力生態(tài)的碎片化問題。

因此，號召更多開發(fā)者參與適配工作至關重要，為國產(chǎn)芯片的適配貢獻一份力量，而不是讓國產(chǎn)生態(tài)停留在一座座孤島。

這種協(xié)作力量在社區(qū)中已初顯：許多開發(fā)者正積極投身技術適配，為國產(chǎn)AI生態(tài)完善貢獻力量。

目前，魔樂社區(qū)上的多數(shù)模型已完成國產(chǎn)算力的適配。同時，社區(qū)還依托這些適配成果，正式上線了AIGC專區(qū)——開發(fā)者與創(chuàng)作者可直接調用社區(qū)內的開源模型，基于國產(chǎn)算力快速生成圖像內容。

這一專區(qū)的落地，正是魔樂用生態(tài)合力打通「模型-算力-應用」鏈路的生動例證，也讓大家看到國產(chǎn)AI生態(tài)從「能跑通」到「用得順」的扎實進展。

魔樂社區(qū)賽事體系點燃開發(fā)者熱情

為激發(fā)國產(chǎn)AI創(chuàng)新活力，魔樂社區(qū)持續(xù)推出各種技術賽事，為開發(fā)者搭建實戰(zhàn)舞臺。

2025全國高性能云計算創(chuàng)新大賽（2025MAXP大賽）

這場賽事緊密圍繞「國芯國用」核心主題，旨在通過搭建技術交流與成果轉化平臺，加速國產(chǎn)算力芯片及智能算法的協(xié)同創(chuàng)新。

2025MAXP大賽不僅有陣容強大的組委會，更設計了豐富的賽題，包括了創(chuàng)新賽、命題賽、性能賽和打榜賽，還有豐富的激勵機制。

大賽詳情可查看：https://modelers.cn/race/453

AIGC創(chuàng)作打榜活動

同步進行的還有魔樂社區(qū)近期上線的「基于國產(chǎn)算力的AIGC創(chuàng)作專區(qū)」特色活動。 開發(fā)者、創(chuàng)作者及愛好者可免費使用社區(qū)提供的NPU算力資源與專業(yè)創(chuàng)作工具，體驗高效、低成本的AIGC開發(fā)流程，在實戰(zhàn)中比拼創(chuàng)意與技術，共同探索國產(chǎn)算力驅動的生成式AI應用場景。

專區(qū)訪問鏈接：https://modelers.cn/topics/aigc

無論你是AI技術愛好者，還是深耕領域的開發(fā)者，都可以一展身手——在國產(chǎn)算力生態(tài)的建設中，讓每一份創(chuàng)新熱情都能轉化為推動行業(yè)進步的力量。

參考資料：

https://modelers.cn/