AI正在加速往個(gè)人終端落地。

今日，阿里巴巴在深夜開源了推理模型 QwQ-32B，性能追平滿血版的 DeepSeek R1（ 671B，激活 37B），它還有更強(qiáng)大的 QwQ-Max即將開源。蘋果發(fā)布了最強(qiáng)芯片 M3 Ultra，能讓 Mac Studio跑動 600B參數(shù)大模型，是英偉達(dá)今年新品個(gè)人超算 Project Digits的 3倍。也許 M3 Ultra能跑得動 QwQ-Max。

同日發(fā)布旗下最強(qiáng)大的新產(chǎn)品，或許只是個(gè)巧合。但這兩個(gè)大玩家又恰好在今年攜起手來，為中國用戶打造端側(cè)個(gè)人 AI體驗(yàn)。端側(cè)硬件單位算力成本的下降，與推理模型單位規(guī)模性能的提升，正為為這個(gè)市場打開足夠的想象空間。

推理模型處于AlphaGO前夕

阿里巴巴與 DeepSeek已經(jīng)在推理上卷起來了。在去年 9月 OpenAI發(fā)布 o1-preview后， 11月下旬， DeepSeek發(fā)布 R1-lite-preview，幾天后，阿里發(fā)布 QwQ-32B-Preview。今年， DeepSeek搶先于 1月正式開源 R1，最近又預(yù)告下一代的 R2，將早于 5月發(fā)布；阿里則先在 2月預(yù)覽了 QwQ-Max-Preview，并于今日正式開源 QwQ-32B。

QwQ是 Qwen with Questions的縮寫，即基于 Qwen基礎(chǔ)模型的推理模型。與 R1類似， QwQ驗(yàn)證了大規(guī)模強(qiáng)化學(xué)習(xí)對擴(kuò)展定律仍然起效，官方博客對它的介紹，就是 “領(lǐng)略強(qiáng)化學(xué)習(xí)之力 ”。艾倫 AI研究所的 Nathan Lambert，將它稱作是為 “強(qiáng)化學(xué)習(xí)純粹主義者 ”準(zhǔn)備的，并希望想看到更多來自技術(shù)報(bào)告的細(xì)節(jié)。

據(jù)官方博客介紹，在冷啟動的基礎(chǔ)上，團(tuán)隊(duì)首先特別針對數(shù)學(xué)和編程，以直接校驗(yàn)答案是否正確，或運(yùn)行代碼是否成功為反饋，讓模型直接對答案，不斷試錯(cuò)學(xué)習(xí)；隨后針對更通用的能力，團(tuán)隊(duì)同時(shí)引入了獎勵模型與規(guī)則驗(yàn)證器，在不拖累專項(xiàng)能力的基礎(chǔ)上，穩(wěn)步擴(kuò)展其他通用能力。

選擇數(shù)學(xué)與編程的理由，在于它們往往是純推理任務(wù)，答案是否正確，能快速用簡單方法驗(yàn)證。 EpochAI最近一篇文章就認(rèn)為，推理模型在未來將最成功地應(yīng)用于滿足以下兩個(gè)核心條件的任務(wù)：預(yù)訓(xùn)練數(shù)據(jù)中包含大量與任務(wù)相關(guān)的高質(zhì)量信息；任務(wù)的解決方案能夠以低成本、程序化的方式驗(yàn)證其質(zhì)量。數(shù)學(xué)與編程就是兩大核心場景。 EpochAI認(rèn)為，目前推理模型的發(fā)展軌跡，與 AlphaGo出現(xiàn)之前的幾年，有很強(qiáng)的相似之處。

結(jié)果確實(shí)如此。官方說明文檔顯示， QwQ-32B 在數(shù)學(xué)推理、編程能力和通用能力等一系列基準(zhǔn)測試中，得分追平了滿血版的 R1， 完勝更小參數(shù)規(guī)模的 DeepSeek蒸餾模型 R1-Qwen-32B和 R1-Llama-70B。目前已經(jīng)在應(yīng)用場景中使用 R1蒸餾模型的，可以將它們換成 QwQ-32B了。遺憾的是，它只和 OpenAI的 o1 mini扳了扳手腕，后者發(fā)布于去年 9月，勝之不武。

目前最強(qiáng)大的推理的模型當(dāng)屬 o3-mini，也許這個(gè)任務(wù)要交給 DeepSeek的 R2，或者阿里的 QwQ-Max了。

最近的 Grok 3， GPT-4.5，以及 Claude的下一代模型，都在探索更大規(guī)模的基礎(chǔ)模型與推理模型的結(jié)合。 QwQ-32B也只是阿里的第一步，下一步正是 “更強(qiáng)大的基礎(chǔ)模型，與依托規(guī)模化計(jì)算資源的強(qiáng)化學(xué)習(xí)相結(jié)合 ”。阿里相信那是通往 AGI的道路。

更便宜，更便利，更個(gè)人

阿里巴巴對 QwQ-32B的官方定位，是基于低延遲、隱私、定制的優(yōu)勢，以開發(fā)人員、研究人員、業(yè)余愛好者為目標(biāo)受眾。

目前， QwQ-32B已經(jīng)可以直接在 Qwen Chat免費(fèi)體驗(yàn)，并在 Huggingface開源。它采用了 Apache 2.0開源協(xié)議，相比 DeepSeek對用戶幾乎沒有限制的 MIT協(xié)議，增加了部分商業(yè)場景下專利授權(quán)和衍生作品的限制。不過，仍然相當(dāng)友好。

已有 GroqCloud等不少平臺上線了 QwQ-32B。對比這些第三方平臺提供的 API報(bào)價(jià)， QwQ-32B能夠以 1/10的價(jià)格，在楊立昆 “不可作弊的 ”LiveBench基準(zhǔn)下，輸出與 R1相媲美的結(jié)果。 QwQ-32B還允許開發(fā)者以 OpenAI API的方式調(diào)用，減少適配成本。

更關(guān)鍵的是， QwQ-32B足夠小，可以直接本地部署。一位來自亞馬遜 AI的研究人員認(rèn)為， DeepSeek滿血版 R1模型的參數(shù)總規(guī)模與 MOE架構(gòu)，對本地部署仍然不夠友好。盡管 R1單次推理激活 37B，但要完整部署總規(guī)模 671B的模型，且保證其經(jīng)濟(jì)性，需要至少 22臺服務(wù)器，每臺 8張 GPU。這不是普通個(gè)人開發(fā)者能夠承擔(dān)的。跨服務(wù)器的流水線并行與專家并行機(jī)制， Prefill（預(yù)填充）與D ecoding（解碼）分離的特點(diǎn)，以及依賴特定的 Expert Parallel 通信庫，也推高了個(gè)人部署的技術(shù)門檻。

在 Q4量化精度下， QwQ-32B的大小在 20GB左右；如果是 Q4量化精度的 R1，大概需要 400GB。目前， Ollama也上線了 Q4版本的 QwQ-32B模型。蘋果機(jī)器學(xué)習(xí)的研究員 Awni Hannun，已經(jīng)嘗試本地運(yùn)行 QwQ-32B了。他用的是一臺搭載 M4 Max的筆記本，結(jié)果相當(dāng)流暢。

蘋果M3 Ultra神助攻

同一天，蘋果發(fā)布了基于 M3 Ultra的 Mac Studio。聽上去， M3 Ultra要比去年年底發(fā)布的 M4 Max“低一輩”，但事實(shí)上并非如此。它是蘋果 “有史以來性能最強(qiáng)大的芯片 ”。

它由兩個(gè) 3納米的 M3 Max芯片和一個(gè)中介層組成，集成了 1840億個(gè)晶體管，擁有多達(dá) 32核 CPU，包括 24個(gè)性能核心和 8個(gè)能效核心，以及 80核 GPU，以及 32核神經(jīng)引擎。它的內(nèi)存可高達(dá) 512GB，帶寬可高達(dá) 800GB/s，足以直接在本地加載參數(shù)規(guī)模超過 600B的大模型，幾乎就是滿血版 R1的體量。

端側(cè)算力正在迅速 “貶值 ”。還記得 2個(gè)月前，黃仁勛掏出那個(gè)令全場震驚的個(gè)人桌面超級計(jì)算機(jī) Project Digits嗎？在 FP4 精度下，它可提供高達(dá) 1 PFLOPS的算力，官方文檔稱它可以本地驅(qū)動 2000億參數(shù)規(guī)模的大模型。黃仁勛還預(yù)言，未來每個(gè)數(shù)據(jù)科學(xué)家、研究者和學(xué)生的桌子上都會有一臺。 2個(gè)月后，蘋果 1臺抵它 3臺。

蘋果沒有承諾接下去還有 M4 Ultra，但型號命名的小把戲，并不影響端側(cè)算力的競爭繼續(xù)下去。還有半個(gè)月，英偉達(dá)的 GTC就要開始了。

更強(qiáng)大的端側(cè)算力，與更聰明的推理模型，或許將在今年交匯。 QwQ-32B也不是阿里巴巴推理模型的全部。它預(yù)告即將開源的 QwQ-Max，顯然將會更為強(qiáng)大。將 QwQ-32B用于 Qwen Chat應(yīng)用時(shí)，官方社交媒體平臺對它的表述是 “Qwen2.5-Plus + Thinking”，即它是基于 Qwen2.5-Plus構(gòu)建的；而已經(jīng)公開的 QwQ-Max-Preview，則是基于 Qwen2.5-Max構(gòu)建的。在通義千問模型序列里， Max后綴往往被視為旗艦?zāi)Ｐ停?Plus更強(qiáng)大。

Meta正在憋 Llama 4，它還沒有推理模型；谷歌開源了 Gemma。它們都有自己的硬件與操作系統(tǒng)，也將加入戰(zhàn)局。不過，蘋果擁有最有價(jià)值的硬件入口，阿里擁有全球最受歡迎的開源模型，這會讓今天同日發(fā)布的巧合，注解了 AI應(yīng)用加速向端側(cè)部署的趨勢——這也寫在剛剛公布的《政府工作報(bào)告》的“人工智能 +”行動里。