來源：機器之心

谷歌 Gemma 3 上線剛剛過去一個月，現在又出新版本了。

該版本經過量化感知訓練（Quantization-Aware Training，QAT）優化，能在保持高質量的同時顯著降低內存需求。

比如經過 QAT 優化后，Gemma 3 27B 的 VRAM 占用量可以從 54GB 大幅降至 14.1GB，使其完全可以在 NVIDIA RTX 3090 等消費級 GPU 上本地運行！

Chatbot Arena Elo 得分：更高的分數（最上面的數字）表明更大的用戶偏好。點表示模型使用 BF16 數據類型運行時所需的 NVIDIA H100 GPU 預估數量。

機器之心在一臺配備了 RTX 3070 的電腦上簡單測試了其中的 12B 版本，可以看到雖然 Gemma 3 的 token 輸出速度不夠快，但整體來說還算可以接受。

基于量化感知訓練的 Gemma 3

在 AI 模型中，研究者可以使用更少的位數例如 8 位（int8）甚至 4 位（int4）進行數據存儲。

采用 int4 量化意味著每個數值僅用 4 bit 表示 —— 相比 BF16 格式，數據大小縮減至 1/4。

但是，這種量化方式通常會導致模型性能下降。

那谷歌是如何保持模型質量的？答案是采用 QAT。

與傳統在模型訓練完成后才進行量化的方式不同，QAT 將量化過程直接融入訓練階段 —— 通過在訓練中模擬低精度運算，使模型在后續被量化為更小、更快的版本時，仍能保持準確率損失最小化。

具體實現上，谷歌基于未量化的 checkpoint 概率分布作為目標，進行了約 5,000 步的 QAT 訓練。當量化至 Q4_0（一種常見的量化格式） 時，困惑度下降了 54%。

這樣帶來的好處之一是加載模型權重所需的 VRAM 大幅減少：

• Gemma 3 27B：從 54 GB（BF16）降至僅 14.1 GB（int4）

• Gemma 3 12B：從 24 GB（BF16）縮減至僅 6.6 GB（int4）

• Gemma 3 4B：從 8 GB（BF16）精簡至 2.6 GB（int4）

• Gemma 3 1B：從 2 GB（BF16）降至僅 0.5 GB（int4）

此圖僅表示加載模型權重所需的 VRAM。運行該模型還需要額外的 VRAM 用于 KV 緩存，該緩存存儲有關正在進行的對話的信息，并取決于上下文長度。

現在看來，用戶在消費級設備上就能運行更大、更強的 Gemma 3 模型，其中：

• Gemma 3 27B (int4)：現在可以輕松安裝在單張 NVIDIA RTX 3090（24GB VRAM）或類似顯卡上，本地就能運行最大的 Gemma 3 版本；

• Gemma 3 12B (int4)：可在 NVIDIA RTX 4060 GPU（8GB VRAM）等筆記本電腦 GPU 上高效運行，為便攜式設備帶來強大的 AI 功能；

• 更小的型號（4B、1B）：為資源較為有限的系統（包括手機和烤面包機）提供更強大的可訪問性。

來自 Two Minute Papers 頻道的玩笑

官方 int4 和 Q4_0 非量化 QAT 模型已在 Hugging Face 和 Kaggle 上線。谷歌還與眾多熱門開發者工具合作，讓用戶無縫體驗基于 QAT 的量化 checkpoint：

• Ollama：從今天起，只需一個簡單命令即可原生支持 Gemma 3 QAT 模型。

• LM Studio：通過用戶友好界面，輕松下載并在桌面上運行 Gemma 3 QAT 模型。

• MLX：利用 MLX 在蘋果芯片上對 Gemma 3 QAT 模型進行高效推理。

• Gemma.cpp：使用專用的 C++ 實現，直接在 CPU 上進行高效推理。

• llama.cpp：得益于對 GGUF 格式 QAT 模型的原生支持，可輕松集成到現有工作流程中。

激動的網友已經無法抑制內心的喜悅：「我的 4070 就能運行 Gemma 3 12B，這次谷歌終于為即將破產的開發者做了一些事情。」

「希望谷歌朝著 1bit 量化使使勁。」

這個可以本地運行的 Gemma 3 你用了嗎，效果如何，歡迎大家評論區留言。

參考鏈接：https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/?linkId=14034718