2025 智源大會(huì)，新一代「面壁小鋼炮」 MiniCPM4.0 端側(cè)模型發(fā)布。一款 8B 稀疏閃電版，帶來(lái)端側(cè)性能創(chuàng)新式大躍升；一款 0.5B 實(shí)力演繹以小博大，適配廣泛終端場(chǎng)景。

MiniCPM4.0 -8B 是首個(gè)原生稀疏模型，5%的極高稀疏度加持系統(tǒng)級(jí)創(chuàng)新技術(shù)的大爆發(fā)，讓長(zhǎng)文本、深思考在端側(cè)真正跑起來(lái)，宣告了端側(cè)長(zhǎng)文本時(shí)代到來(lái)。

MiniCPM4.0 -8B 在MMLU、CEval、MATH500、HumanEval等基準(zhǔn)測(cè)試中，以?xún)H 22% 的訓(xùn)練開(kāi)銷(xiāo)，性能比肩 Qwen-3-8B，超越Gemma-3-12B。

MiniCPM4.0 -0.5B 在性能上，也展現(xiàn)出驚人的以小博大—— 在MMLU、CEval、BBH、HumanEval等基準(zhǔn)測(cè)試中，MiniCPM4.0 -0.5B性能秒殺同級(jí)的 Qwen-3-0.6B、Llama 3.2、Gemma3，并通過(guò)原生QAT技術(shù)實(shí)現(xiàn)幾乎不掉點(diǎn)的int4量化，實(shí)現(xiàn)了 600 Token/s 的極速推理速度。

模型相關(guān)鏈接

• Github 鏈接：https://github.com/openbmb/minicpm
  

• 技術(shù)報(bào)告鏈接：https://github.com/OpenBMB/MiniCPM/blob/main/report/MiniCPM_4_Technical_Report.pdf

  https://arxiv.org/pdf/2506.07900
  

• Huggingface鏈接：https://huggingface.co/collections/openbmb/minicpm-4-6841ab29d180257e940baa9b
  

• Model Scope鏈接：https://www.modelscope.cn/collections/MiniCPM-4-ec015560e8c84d

「前進(jìn)四」速度狂飆，快至220 倍！

代號(hào)「前進(jìn)四」，小鋼炮 MiniCPM4.0 樹(shù)立起新一代端側(cè)基礎(chǔ)模型標(biāo)桿，帶來(lái)超預(yù)期的速度、性能、存儲(chǔ)與端側(cè)部署表現(xiàn)。

前進(jìn)四，代表極致的速度提升：面對(duì)此前端側(cè)模型長(zhǎng)文本「龜速推理」業(yè)界難題，MiniCPM 4-8B 「閃電稀疏版」，采用了新一代上下文稀疏高效架構(gòu)，相較于 Qwen-3-8B、Llama-3-8B、GLM-4-9B等同等參數(shù)規(guī)模端側(cè)模型，實(shí)現(xiàn)了長(zhǎng)文本推理速度 5 倍常規(guī)加速以及最高 220 倍加速（顯存受限極限場(chǎng)景下測(cè)出），真正讓端側(cè)模型長(zhǎng)文本推理實(shí)現(xiàn)了「快如閃電」的質(zhì)變。此外，注意力機(jī)制上實(shí)現(xiàn)了高效雙頻換擋，長(zhǎng)文本用稀疏，短文本用稠密，切換快如流。

前進(jìn)四，代表性能的大迸發(fā)：MiniCPM 4.0 推出端側(cè)性能“大小王”組合，擁有 8B 、0.5B 兩種參數(shù)規(guī)模，延續(xù)「以小博大」特性，實(shí)現(xiàn)了同級(jí)最佳的模型性能。其中，MiniCPM 4.0-8B 模型為稀疏注意力模型，在MMLU、CEval、MATH500、HumanEval等基準(zhǔn)測(cè)試中，以?xún)H 22% 的訓(xùn)練開(kāi)銷(xiāo)，性能比肩 Qwen-3-8B，超越Gemma-3-12B。MiniCPM 4.0-0.5B 在性能上，也展現(xiàn)出驚人的以小博大—— 相較更大的Qwen-3-0.6B、Llama 3.2, 僅2.7%的訓(xùn)練開(kāi)銷(xiāo)，一半?yún)?shù)性能翻倍，并實(shí)現(xiàn)了最快 600 Token/s 的極速推理速度。

前進(jìn)四，代表端側(cè)部署的極致優(yōu)化：MiniCPM 4.0 持續(xù)衛(wèi)冕全球最強(qiáng)端側(cè)模型，并進(jìn)一步實(shí)現(xiàn)了長(zhǎng)文本緩存的大幅銳減，在 128K 長(zhǎng)文本場(chǎng)景下，MiniCPM 4.0-8B 相較于 Qwen3-8B 僅需 1/4 的緩存存儲(chǔ)空間。量化版身輕如燕，高達(dá)90%的模型瘦身，性能依然十分穩(wěn)健。在速度、性能飆升的同時(shí)，又做到了模型極致壓縮，讓端側(cè)算力不再有壓力，成為業(yè)界最為友好的端側(cè)模型。

在應(yīng)用上，端側(cè)長(zhǎng)文本的突破帶來(lái)更多可能。基于 8B 版本，團(tuán)隊(duì)微調(diào)出兩個(gè)特定能力模型，分別可以用做 MCP Client 和純端側(cè)性能比肩 Deep Research 的研究報(bào)告神器 MiniCPM4-Surve。

與此同時(shí)，面壁智能也攜手諸多行業(yè)伙伴，持續(xù)推動(dòng) MiniCPM 4.0 模型適配及應(yīng)用拓展。截止目前，MiniCPM 4.0 已實(shí)現(xiàn) Intel、高通、MTK、華為昇騰等主流芯片的適配。此外， MiniCPM 4.0可在 vLLM、SGLang、llama.cpp、LlamaFactory、XTuner等開(kāi)源框架部署。同時(shí)加強(qiáng)了對(duì) MCP的支持，且性能超過(guò)同尺寸開(kāi)源模型（ Qwen-3-8B），進(jìn)一步拓展了模型開(kāi)發(fā)、應(yīng)用潛力。

超 3000 人的「AI 產(chǎn)品及應(yīng)用交流」社群，不錯(cuò)過(guò) AI 產(chǎn)品風(fēng)云！誠(chéng)邀所有 AI 產(chǎn)品及應(yīng)用從業(yè)者、產(chǎn)品經(jīng)理、開(kāi)發(fā)者和創(chuàng)業(yè)者，掃碼加群：

進(jìn)群后，您將有機(jī)會(huì)得到：

· 最新、最值得關(guān)注的 AI 產(chǎn)品資訊及大咖洞見(jiàn)

· 獨(dú)家視頻及文章解讀 AGI 時(shí)代的產(chǎn)品方法論及實(shí)戰(zhàn)經(jīng)驗(yàn)

· 不定期贈(zèng)送熱門(mén) AI 產(chǎn)品邀請(qǐng)碼

新一代稀疏注意力架構(gòu) InfLLM

首個(gè)原生稀疏模型的發(fā)布，讓長(zhǎng)文本在端側(cè)奔跑真正成為可能。由于傳統(tǒng)稠密模型的上下文窗口受限，長(zhǎng)文本又提出比較高的內(nèi)存和算力需求，過(guò)去在端側(cè)場(chǎng)景幾乎不可用。對(duì)這一問(wèn)題的解決，至關(guān)重要，又比較艱難，需要貫穿架構(gòu)層、算法層、系統(tǒng)層、數(shù)據(jù)層的系統(tǒng)級(jí)層層優(yōu)化

長(zhǎng)文本是模型發(fā)展的重要技術(shù)發(fā)力點(diǎn)，可以保證生成文本的連貫性和一致性。在端側(cè)需求更甚，因?yàn)橛脩?hù)終端上有大量的用戶(hù)個(gè)人信息上下文，只有處理好這些上下文，才能真正做出最懂用戶(hù)的個(gè)人助理產(chǎn)品。而這些個(gè)人信息上下文，隱私性非常高，譬如聊天記錄、位置信息等，只有完全端側(cè)實(shí)現(xiàn)才能保證個(gè)人信息安全。終端設(shè)備對(duì)世界的感知，也同樣需要在端側(cè)發(fā)生，典型的案例是輔助（自動(dòng)）駕駛，光學(xué)攝像頭和其它傳感器的感知信號(hào)必須要在本地處理和理解，避免延遲和丟包。而感知所需要的多模態(tài)模型能力，對(duì)長(zhǎng)上下文的要求是極其夸張的，模型想要記住一路攝像頭 10 分鐘之類(lèi)的連續(xù)視覺(jué)信號(hào)，供實(shí)時(shí)推理使用，就已經(jīng)需要超過(guò) 100K 的上下文長(zhǎng)度了，還不考慮多路及聲音和其它傳感器所代表的模態(tài)信號(hào)。

這次行業(yè)首例全開(kāi)源的系統(tǒng)級(jí)上下文稀疏化高效創(chuàng)新，具體來(lái)說(shuō)是基于新一代稀疏注意力架構(gòu) InfLLM 做了模型創(chuàng)新，并通過(guò)自研端側(cè)推理三級(jí)火箭，自研 CPM.cu 極速端側(cè)推理框架，從 投機(jī)采樣創(chuàng)新、模型壓縮量化創(chuàng)新、端側(cè)部署框架創(chuàng)新 幾方面，帶來(lái) 90% 的模型瘦身和極致速度提升，最終實(shí)現(xiàn)端側(cè)推理從天生到終生的高效絲滑。同時(shí)，在綜合性能的極限推進(jìn)上，點(diǎn)滴領(lǐng)先背后都是「十年之功」的積累，新一代模型的發(fā)布也是研究團(tuán)隊(duì)技術(shù)創(chuàng)新的集大成呈現(xiàn)。

1、【架構(gòu)高效】新一代稀疏注意力架構(gòu) InfLLM ，速度準(zhǔn)度雙效提升

引入稀疏注意力架構(gòu)為什么在當(dāng)下如此重要？一是長(zhǎng)文本處理、深度思考能力成為人們對(duì)大模型愈來(lái)愈迫切的需求，而傳統(tǒng)稠密模型上下文窗口受限；二是稀疏度越高，計(jì)算量越小，速度越快越高效。DeepSeek等明星項(xiàng)目以稀疏模型架構(gòu)撬動(dòng)的“高效低成本”收益愈益得到認(rèn)可。端側(cè)場(chǎng)景天然因算力限制，對(duì)效率提升與能耗降低要求則更加迫切。

傳統(tǒng) Transformer 模型的相關(guān)性計(jì)算方式是每個(gè)詞元都需要和序列中所有 詞元進(jìn)行相關(guān)性計(jì)算，造成了較高的計(jì)算代價(jià)。MiniCPM 4.0 模型采用的 InfLLMv2 稀疏注意力架構(gòu)改變了傳統(tǒng) Transformer 模型的相關(guān)性計(jì)算方式，到分塊分區(qū)域高效「抽查」——即對(duì)文本進(jìn)行分塊分區(qū)域處理后，通過(guò)智能化選擇機(jī)制，只需對(duì)最有相關(guān)性的重點(diǎn)區(qū)域進(jìn)行注意力計(jì)算“抽查”，擺脫了逐字重復(fù)計(jì)算的低效。InfLLMv2 通過(guò)將稀疏度從行業(yè)普遍的40%-50%，降至極致的 5%，注意力層僅需1/10的計(jì)算量即可完成長(zhǎng)文本計(jì)算。且對(duì)算子底層重寫(xiě)，進(jìn)一步加速提升，并使得對(duì)文本相關(guān)性精準(zhǔn)性大大提升。

主要?jiǎng)?chuàng)新點(diǎn)如下：

• 更精準(zhǔn)的上下文塊選擇算法：在InfLLM中，每個(gè)上下文塊由少量代表元構(gòu)成單一的語(yǔ)義表示。InfLLM v2引入了細(xì)粒度語(yǔ)義核的概念，每個(gè)上下文塊由多個(gè)細(xì)粒度語(yǔ)義核構(gòu)成。查詢(xún)?cè)~元與上下文塊的相關(guān)性分?jǐn)?shù)為查詢(xún)?cè)~元與該上下文塊中包含的所有語(yǔ)義核相關(guān)性分?jǐn)?shù)最大值。該方法使得模型能夠更精準(zhǔn)地選擇上下文塊。

• 更細(xì)粒度的查詢(xún)?cè)~元分組：InfLLM在預(yù)填充階段將多個(gè)查詢(xún)?cè)~元分成一組，使該組內(nèi)所有查詢(xún)?cè)~元選擇相同的上下文塊進(jìn)行注意力計(jì)算。該方法會(huì)造成模型訓(xùn)練與推理的不統(tǒng)一。InfLLM v2中采用了更細(xì)粒度的查詢(xún)?cè)~元分組 —— 要求Grouped Query Attention中每組查詢(xún)頭共享相同的上下文塊。該劃分在保證了底層算子高效實(shí)現(xiàn)的同時(shí)，提升了模型上下文選擇的準(zhǔn)確性。

• 更高效的算子實(shí)現(xiàn)：為了InfLLM v2能夠在訓(xùn)練與推理過(guò)程中充分發(fā)揮其理論加速優(yōu)勢(shì)，MiniCPM4開(kāi)發(fā)并開(kāi)源了InfLLM v2的高效訓(xùn)練與推理算子。同時(shí)，為了能夠快速地選取TopK上下文塊，MiniCPM4中提出了一種高效的LogSumExp估計(jì)算法。相比于DeepSeek NSA算法，MiniCPM4中采用的TopK上下文選擇方法，能夠節(jié)省60%的計(jì)算開(kāi)銷(xiāo)。

值得一提的是，DeepSeek 使用的長(zhǎng)文本處理架構(gòu) NSA（Native Sparse Attention）也引用并采用了與InfLLM相同的分塊注意力計(jì)算思路，但其對(duì)于短文本的推理較慢，InfLLMv2 則很好的解決了NSA在短文本推理上的短板。

針對(duì)單一架構(gòu)難以兼顧長(zhǎng)、短文本不同場(chǎng)景的技術(shù)難題，MiniCPM 4.0-8B 采用「高效雙頻換擋」機(jī)制，能夠根據(jù)任務(wù)特征自動(dòng)切換注意力模式：在處理高難度的長(zhǎng)文本、深度思考任務(wù)時(shí)，啟用稀疏注意力以降低計(jì)算復(fù)雜度，在短文本場(chǎng)景下切換至稠密注意力以確保精度與速度，實(shí)現(xiàn)了長(zhǎng)、短文本切換的高效響應(yīng)。

2、【推理高效】推理高效三級(jí)火箭，自研全套端側(cè)高性能推理框架

在推理層面，MiniCPM 4.0 通過(guò) CPM.cu 自研推理框架、P-GPTQ前綴敏感的模型訓(xùn)練后量化、BitCPM 極致低位寬量化、ArkInfer自研跨平臺(tái)部署框架等技術(shù)創(chuàng)新，實(shí)現(xiàn)了極致的端側(cè)推理加速。

CPM.cu：輕量化高效CUDA推理框架

CPM.cu 端側(cè)自研推理框架是一個(gè)專(zhuān)為端側(cè)NVIDIA芯片優(yōu)化的輕量化推理框架。除了靜態(tài)內(nèi)存管理和算子融合等基礎(chǔ)功能外，還實(shí)現(xiàn)了高效的投機(jī)采樣、前綴敏感的量化算法，并為InfLLM v2集成了高效的稀疏注意力算子，可以說(shuō)是做到了稀疏、投機(jī)、量化的高效組合，最終實(shí)現(xiàn)了 5 倍速度提升。其中，F(xiàn)R-Spec 輕量投機(jī)采樣類(lèi)似于小模型給大模型當(dāng)“實(shí)習(xí)生”，并給小模型進(jìn)行詞表減負(fù)、計(jì)算加速。通過(guò)創(chuàng)新的詞表裁剪策略，讓小模型專(zhuān)注于高頻基礎(chǔ)詞匯的草稿生成，避免在低頻高難度詞匯上浪費(fèi)算力，再由大模型進(jìn)行驗(yàn)證和糾正。

BitCPM 量化與P-GPTQ量化

部署大模型面臨高計(jì)算和內(nèi)存需求的挑戰(zhàn)。模型量化通過(guò)降低參數(shù)精度來(lái)解決這一問(wèn)題，實(shí)現(xiàn)高效推理并減少資源消耗。此次，面壁智能采用了P-GPTQ（前綴敏感的模型訓(xùn)練后量化）、以及BitCPM三值量化兩種量化方法，來(lái)降低大模型部署中的計(jì)算與內(nèi)存消耗。

P-GPTQ的核心思想是在量化過(guò)程的Hessian矩陣計(jì)算時(shí)排除初始詞元的干擾。實(shí)證分析發(fā)現(xiàn)，大模型初始位置的激活幅度比后續(xù)詞元大10倍，將嚴(yán)重影響協(xié)方差運(yùn)算。MiniCPM4采用位置感知的校準(zhǔn)策略，僅使用從第4個(gè)位置開(kāi)始的穩(wěn)定詞元進(jìn)行量化參數(shù)計(jì)算，有效消除了初始詞元帶來(lái)的統(tǒng)計(jì)偏差，且該方法與現(xiàn)有量化技術(shù)（如Quarot旋轉(zhuǎn)方法和AWQ平滑方法）完全兼容，可無(wú)縫集成到現(xiàn)有量化流水線(xiàn)中。實(shí)驗(yàn)結(jié)果表明，在INT4量化設(shè)置下，P-GPTQ相比其他量化方法取得了最優(yōu)性能，顯著減少了相對(duì)于FP16基線(xiàn)的性能退化。

此外，面壁訓(xùn)練了兩個(gè)規(guī)模的三值模型：BitCPM4-0.5B和1B參數(shù)模型，整個(gè)訓(xùn)練過(guò)程使用了350B 詞元。實(shí)驗(yàn)結(jié)果顯示，在0.5B參數(shù)級(jí)別，BitCPM4-0.5B在知識(shí)相關(guān)任務(wù)上表現(xiàn)優(yōu)異。

ArkInfer跨平臺(tái)部署框架

除了有限的計(jì)算資源挑戰(zhàn)外，端側(cè)芯片的碎片化是另一個(gè)重大障礙。芯片碎片化要求每次發(fā)布新模型時(shí)，都需要將模型適配到多個(gè)平臺(tái)和芯片類(lèi)型，導(dǎo)致復(fù)雜的適配和部署過(guò)程，這帶來(lái)了巨大的工程工作量。

為了解決這些痛點(diǎn)，面壁提出了 ArkInfer，一個(gè)新穎的跨平臺(tái)部署系統(tǒng)。通過(guò)引入了跨平臺(tái)兼容的架構(gòu)設(shè)計(jì)、可復(fù)用且高效的推測(cè)采樣與約束解碼方案以及可擴(kuò)展的模型庫(kù)前端等解決方案，提供高效的推理速度并作為各種模型應(yīng)用的多功能跨平臺(tái)兼容層，來(lái)克服端側(cè)芯片的碎片化問(wèn)題。

3、【訓(xùn)練+數(shù)據(jù)高效】打造大模型光刻機(jī)，優(yōu)化科學(xué)化建模產(chǎn)線(xiàn)

為什么面壁總能帶來(lái)同等參數(shù)、性能更強(qiáng)，同等性能、參數(shù)更小的先進(jìn)模型？大模型制程看得見(jiàn)的領(lǐng)先背后，是無(wú)數(shù)看不見(jiàn)的技術(shù)積累與嚴(yán)苛標(biāo)準(zhǔn)；是點(diǎn)點(diǎn)滴滴細(xì)節(jié)的精益求精。

區(qū)別于業(yè)界普遍采用的“大力出奇跡”路線(xiàn)，面壁智能堅(jiān)持以「高效」為核心的技術(shù)路徑。對(duì)大模型科學(xué)化的探索，貫穿從數(shù)據(jù)、訓(xùn)練、學(xué)習(xí)、推理等層層流程，實(shí)現(xiàn)了研發(fā)投入產(chǎn)出比的最大化。

好數(shù)據(jù)才有好模型，高效構(gòu)建高質(zhì)量數(shù)據(jù)，是高質(zhì)量模型的基本盤(pán)。面壁在這一領(lǐng)域擁有諸多創(chuàng)新方法，并且悉數(shù)開(kāi)源。譬如，Ultra-FineWeb 高知識(shí)密度數(shù)據(jù)篩選機(jī)制，用“半成品加工法”來(lái)構(gòu)造萬(wàn)億數(shù)據(jù)，通過(guò)先訓(xùn)一個(gè)“半熟”模型， 再用新數(shù)據(jù)快速微調(diào)，如同預(yù)制菜快出成果，最終實(shí)現(xiàn) 90% 的驗(yàn)證成本降低。在大規(guī)模數(shù)據(jù)質(zhì)檢方面，利用輕量化的 FastText 工具，處理 15 萬(wàn)億 token 數(shù)據(jù)僅需 1000 小時(shí) CPU 時(shí)間。同時(shí)，UltraChat-v2 合成了包含數(shù)百億詞元的高質(zhì)量對(duì)齊數(shù)據(jù)，在知識(shí)類(lèi)、指令遵循、長(zhǎng)文本、工具使用等關(guān)鍵能力上進(jìn)行定向強(qiáng)化。在高質(zhì)量數(shù)據(jù)與高效訓(xùn)練策略的加持下，相比同尺寸開(kāi)源模型，MiniCPM 4.0-8B 僅用 22% 的訓(xùn)練開(kāi)銷(xiāo)，即可達(dá)到相同能力水平。

在訓(xùn)練策略上，MiniCPM 4.0 應(yīng)用了迭代升級(jí)后的風(fēng)洞 2.0 方案（Model Wind Tunnel v2），通過(guò)在 0.01B-0.5B 小模型上進(jìn)行高效實(shí)驗(yàn)，搜索最優(yōu)的超參數(shù)配置并遷移到大模型，相比此前的 1.0 版本，風(fēng)洞 2.0 將配置搜索的實(shí)驗(yàn)次數(shù)降低 50%。針對(duì)強(qiáng)化學(xué)習(xí)訓(xùn)練中的負(fù)載不均問(wèn)題，Chunk-wise Rollout 技術(shù)通過(guò)分段采樣策略，確保 GPU 資源的高效利用。工程層面還采用了 FP8 訓(xùn)練和 MTP 監(jiān)督信號(hào)等前沿技術(shù)，進(jìn)一步提升訓(xùn)練效率。

此次 MiniCPM 4.0 的發(fā)布，是面壁智能持續(xù)探索高效大模型道路上的又一重要里程碑，通過(guò)多維度、高密度的優(yōu)化，真正做到行業(yè)唯一的端側(cè)可落地的系統(tǒng)級(jí)軟硬件稀疏化高效創(chuàng)新。這也是面壁獲得來(lái)自社區(qū)廣泛認(rèn)同的本因。截至目前，面壁小鋼炮 MiniCPM 系列全平臺(tái)下載量累計(jì)破 1000 萬(wàn)。未來(lái)，面壁智能還將基于「大模型密度定律 Densing Law」，持續(xù)提高大模型的知識(shí)密度與智能水平，推動(dòng)端側(cè)智能高效發(fā)展與規(guī)模化產(chǎn)業(yè)應(yīng)用。

2025 全球產(chǎn)品經(jīng)理大會(huì)

2025 年 8 月 15–16 日

北京·威斯汀酒店

2025 全球產(chǎn)品經(jīng)理大會(huì)將匯聚互聯(lián)網(wǎng)大廠(chǎng)、AI 創(chuàng)業(yè)公司、ToB/ToC 實(shí)戰(zhàn)一線(xiàn)的產(chǎn)品人，圍繞產(chǎn)品設(shè)計(jì)、用戶(hù)體驗(yàn)、增長(zhǎng)運(yùn)營(yíng)、智能落地等核心議題，展開(kāi) 12 大專(zhuān)題分享，洞察趨勢(shì)、拆解路徑、對(duì)話(huà)未來(lái)。

更多詳情與報(bào)名，請(qǐng)掃碼下方二維碼。