昨晚，谷歌CEO Sundar Pichai宣布，開源最新多模態(tài)大模型Gemma-3，主打低成本高性能。

Gemma-3共有10億、40億、120億和270億四種參數(shù)。但即便最大的270億參數(shù)，只需要一張H100就能高效推理，同類模型要達(dá)到這個效果最少要提升10倍算力，也是目前最強小參數(shù)模型。

根據(jù)盲測LMSYS ChatbotArena數(shù)據(jù)顯示，Gemma-3僅次于DeepSeek的R1-671B，高于OpenAI的o3-mini，Llama3-405B等知名模型。

DeepSeek的R1是相當(dāng)有排面，國內(nèi)外發(fā)布高性能低成本模型時都得和它比較一下。其實，前幾天阿里也開源了一個比肩R1，參數(shù)大降20倍的QwQ-32B模型。現(xiàn)在谷歌也要開始卷低成本模型了。

開源地址：https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d

Gemma-3架構(gòu)與技術(shù)亮點

在架構(gòu)設(shè)計上，Gemma-3采用了與前兩代一樣的通用解碼器Transformer架構(gòu)，但進行了眾多創(chuàng)新和優(yōu)化。

為了應(yīng)對長上下文帶來的內(nèi)存爆炸難題，Gemma-3采用了局部和全局自注意力層交錯的架構(gòu)，每5個局部層之間插入1個全局層，局部層的跨度僅為1024個token。因為只有全局層負(fù)責(zé)處理長上下文，局部層僅關(guān)注1024個token的小跨度，從而降低了內(nèi)存占用。

為了支持長上下文，Gemma-3模型將上下文長度擴展到了128Ktoken（10億參數(shù)模型為32K）。模型提高了全局自注意力層的RoPE基礎(chǔ)頻率，從10k提升到1M，而局部層頻率保持在10k。

同時，采用了類似位置插值的方法來擴展全局自注意力層的跨度，使模型在長上下文場景下能夠更好地捕捉信息提升性能。

多模態(tài)能力是Gemma-3的一大技術(shù)亮點，能夠同時處理文本和圖像。還集成了定制版的SigLIP視覺編碼器，這是一個基于VisionTransformer的編碼器，通過CLIP損失的變體進行訓(xùn)練。

為了降低圖像處理的推理成本，Gemma-3采用了創(chuàng)新的圖像嵌入壓縮技術(shù)，將視覺嵌入壓縮為固定大小的256個向量，從而在不損失關(guān)鍵信息的前提下，顯著減少了計算資源的消耗。

Gemma-3還引入了Pan&Scan方法，允許模型靈活處理不同分辨率和寬高比的圖像。在實際應(yīng)用中，Pan&Scan通過將圖像分割成多個固定大小的區(qū)域，并將這些區(qū)域調(diào)整到統(tǒng)一的分辨率后輸入編碼器，從而避免了因圖像尺寸不一致而導(dǎo)致的信息丟失或變形問題。這種靈活的圖像處理方式不僅提高了模型對圖像內(nèi)容的理解能力，還使其在處理復(fù)雜圖像場景時表現(xiàn)得更加出色。

高效訓(xùn)練過程

在預(yù)訓(xùn)練階段，Gemma-3采用了與Gemma 2相似的方法并融入新的改進。為適應(yīng)圖像和文本混合數(shù)據(jù)的訓(xùn)練需求，模型使用了比Gemma 2更大的token預(yù)算。

270億參數(shù)的模型訓(xùn)練使用14Ttoken，120億參數(shù)模型使用12T，40億參數(shù)模型使用4T，10億參數(shù)模型使用2T。

同時，增加了多語言數(shù)據(jù)，包括單語和并行數(shù)據(jù)，并借鑒特定策略處理語言表示不平衡的問題，以此提升模型的語言覆蓋范圍和多語言處理能力。所以，Gemma-3支持140種語言，其中35種語言開箱即用。

Gemma-3使用與Gemini2.0相同的SentencePiece分詞器，具備分割數(shù)字、保留空格和字節(jié)級編碼的特性，生成的詞匯表包含262k個條目，使得模型在處理非英語語言時更加平衡。

在訓(xùn)練優(yōu)化上，Gemma-3運用知識蒸餾技術(shù)。每個token采樣256個logits，按照教師概率進行加權(quán)，學(xué)生模型通過交叉熵?fù)p失來學(xué)習(xí)教師模型在這些樣本中的分布。在這個過程中，對于未采樣的logits，教師模型的目標(biāo)分布被設(shè)為零概率并重新歸一化，從而引導(dǎo)學(xué)生模型學(xué)習(xí)到更優(yōu)的分布，提升模型的性能。

完成預(yù)訓(xùn)練后，Gemma-3進入后訓(xùn)練階段，該階段聚焦于提升模型的特定能力并整合新特性。后訓(xùn)練采用了改進版的知識蒸餾技術(shù)，從大型指令微調(diào)教師模型中獲取知識，同時結(jié)合基于改進版BOND、WARM和WARP的強化學(xué)習(xí)微調(diào)階段。

通過多種獎勵函數(shù)來優(yōu)化模型，這些獎勵函數(shù)旨在提升模型的幫助性、數(shù)學(xué)能力、編碼能力、推理能力、指令遵循能力和多語言能力，同時最小化模型產(chǎn)生有害輸出的可能性。獎勵來源包括從人類反饋數(shù)據(jù)訓(xùn)練的加權(quán)平均獎勵模型、代碼執(zhí)行反饋以及解決數(shù)學(xué)問題的真實獎勵等。

測試數(shù)據(jù)

為了測試Gemma-3的性能，谷歌在MGSM、Global-MMLU-Lite、WMT24++、RULER、MRCR等眾多主流平臺進行了評估。

結(jié)果顯示，Gemma-3在多模態(tài)任務(wù)中表現(xiàn)出色，例如在DocVQA、InfoVQA和TextVQA等任務(wù)中，其性能顯著優(yōu)于前代模型。在長文本處理方面，Gemma-3的27B模型在RULER128K上達(dá)到了66.0%的準(zhǔn)確率，展現(xiàn)了強大的長文本處理能力。

在多語言支持上，Gemma-3在MGSM和Global-MMLU-Lite等任務(wù)中也取得了優(yōu)異成績。在對話能力評估中，Gemma-3的27B指令調(diào)優(yōu)版本在ChatbotArena中的Elo分?jǐn)?shù)為1338，排名進入前10，接近DeepSeek-R1等大型模型。

本文素材來源谷歌，如有侵權(quán)請聯(lián)系刪除

報告下載

大 佬觀點分享

關(guān)于RPA、AI、企業(yè)數(shù)字化轉(zhuǎn)型

(點擊文字即可閱讀)

| |

| | |

| | |

| | |

| |

行業(yè)知識交流分享，結(jié)識擴展人脈圈層

公眾號后臺回復(fù)【RPA】或者【流程挖掘】

可受邀加入相關(guān)的交流群