蘋果公司近日正式發布了《Apple Intelligence Foundation Language Models Tech Report 2025》技術報告，這是繼去年首次公開其 AI 基礎模型技術細節后的重要更新。而且，就在不久前 Meta 剛剛以數千萬美元薪酬挖走了蘋果基礎模型團隊負責人龐若鳴（Ruoming Pang），這份技術報告很可能是龐若鳴在蘋果生涯的最后一份重要成果。

龐若鳴本人也在社交媒體上對這份報告進行了介紹，并正式將團隊的重任交接給了 Zhifeng Chen。

圖丨相關推文（來源：X）

報告詳細介紹了一套雙軌并行的模型策略。第一款是一個約 30 億參數的端上模型，專為在 iPhone、iPad 和 Mac 等蘋果設備上高效運行而設計。該模型經過深度優化，以充分利用蘋果自研芯片的性能。另一款則是在蘋果私有云計算上運行的可擴展服務器模型，用于處理更復雜的用戶請求。這種“端云協同”的架構旨在平衡性能、效率和隱私，簡單的任務在本地設備上完成，復雜任務則交由具備同等級別隱私保護的云端服務器處理。

圖丨蘋果基礎模型的框架概覽（來源：Apple）

為了提升端上模型的運行效率，蘋果的工程師們引入了一項名為“鍵值緩存共享”（KV Cache Sharing）的創新架構。具體而言，他們將模型劃分為兩個區塊，其中一個區塊（占模型層數的 37.5%）直接共享另一區塊（占 62.5%）生成的鍵值緩存，從而將緩存所需的內存減少了 37.5%，并顯著縮短了生成第一個詞元 token 的響應時間。

對于服務器端模型，蘋果則開發了一種名為“并行軌道混合專家”（Parallel-Track Mixture-of-Experts, PT-MoE）的全新 Transformer 架構。該架構將一個大型模型分解為多個更小的、被稱為“軌道”（Track）的并行處理單元。每個軌道獨立處理信息，僅在特定節點進行同步，從而大幅減少了傳統大型模型中常見的通信瓶頸，提高了訓練和推理的效率。此外，通過在每個軌道內部署混合專家（MoE）層，該模型能夠更高效地擴展，以低延遲處理復雜任務，同時不犧牲模型質量。

圖丨PT-MoE 架構示意圖（來源：Apple）

在賦予模型理解圖像的多模態能力方面，報告也披露了其視覺編碼器的技術細節。服務器和端上模型分別采用了 ViT-g 和更高效的 ViTDet-L 作為視覺主干網絡。值得一提的是，端上模型還采用了一種新穎的“寄存器-窗口”（Register-Window）機制，使其能夠同時有效捕捉圖像的全局上下文信息和局部精細細節。

在訓練數據方面，蘋果保持了其一貫強調隱私保護的風格，在報告中明確了其數據來源和隱私原則。訓練數據主要來自三方面：從出版商處授權的數據、由蘋果網頁爬蟲 Applebot 抓取的公開網絡信息，以及高質量的合成數據。蘋果特別強調，在訓練過程中絕不使用用戶的私人個人數據或用戶交互信息。

同時，公司遵循 robots.txt 協議，允許網站發布者選擇不讓其內容被用于模型訓練，從源頭上保障了內容所有者的權利和用戶隱私。報告顯示，蘋果處理了超過 100 億對高質量的圖文對和 50 億對合成圖像標題數據，并通過先進的流水線進行過濾和提純，以確保訓練數據的質量。

圖丨蘋果的分布式異步強化學習基礎設施（來源：Apple）

為了讓這些模型能在實際設備上高效運行，蘋果采用了積極的優化策略。端上模型通過“量化感知訓練”（Quantization-Aware Training, QAT）技術，將模型權重壓縮至每權重 2 比特。服務器模型則利用了一種名為“自適應可擴展紋理壓縮”（Adaptive Scalable Texture Compression, ASTC）的技術，該技術利用了蘋果 GPU 中已有的硬件解壓模塊，能夠以幾乎零計算成本的方式對模型權重進行解壓，最終將模型壓縮至每權重約 3.56 比特。對于壓縮過程中可能出現的性能損失，蘋果則通過訓練低秩適配器（Low-Rank Adaptation, LoRA）來進行補償和恢復。

性能評估的結果顯示，在 MMLU 等標準測試中，蘋果的端上模型表現優于或持平于 Qwen-2.5-3B、Gemma-3-4B 等同規模的開源模型。

（來源：Apple）

服務器模型則在與 LLaMA 4 Scout 的對比中表現出色，但與 Qwen-3-235B 和 GPT-4o 等更大規模的模型相比仍有差距。在與人類評分員進行的并排比較中，蘋果的模型在多個語言區域和任務中的表現都較為突出。

圖丨蘋果基礎模型在文本上的人類評估（來源：Apple）

最后，蘋果還為開發者推出了全新的“基礎模型框架”（Foundation Models framework），允許開發者直接調用設備上的 30 億參數模型。該框架與 Swift 語言深度集成，通過名為“引導式生成”的功能，開發者可以僅用幾行代碼就讓模型直接生成結構化的 Swift 數據類型，極大地簡化了在應用中集成 AI 功能的過程。蘋果強調，整個框架的設計都貫徹了其負責任 AI 的原則，內置了多重安全護欄，旨在幫助開發者構建既智能又注重隱私保護的下一代應用。

參考資料：

1. https://machinelearning.apple.com/research/apple-foundation-models-tech-report-2025