新智元報道

編輯：KingHZ 英智

【新智元導讀】年僅19歲少年，自稱破解了谷歌最快的語言模型Gemini Diffusion，引爆社交平臺。真相撲朔迷離，但有一點毫無疑問：谷歌I/O大會的「黑馬」，比GPT快10倍的速度、媲美人類程序員的代碼能力，正在掀起一場NLP范式大洗牌。

沒想到擴散模型以一種另類的方式，火起來了！

來自德國的19歲的少年，Georg von Manstein聲稱自己「破解」了谷歌文本擴散模型的原理。

「19歲」「創業」「破解谷歌模型」……

乍看之下，簡直像極了「少年天才挑戰腐朽巨頭」的逆襲劇本，數以萬計的網友被他的推文吸引。

再加上擴散文本生成模型的動態演示，好像谷歌Gemini Diffusion的原理真被他破解了。

但很快就有網友發現，他用的動圖，其實是來自國內的研究（Dream 7B），而后面放出來的幾篇論文也并沒有做任何解釋……

不管這位小哥是不是在「搞抽象」，但谷歌這次提出的Gemini Diffusion卻是一個實打實的干貨。

更重要的是，Gemini Diffusion給擴散模型「再就業」樹立了榜樣。

Gemini Diffusion

每秒1479token

遺憾的是Gemini Diffusion被Veo 3等消息所掩蓋了。

但Gemini Diffusion是谷歌更大的野心：重塑語言生成，利用擴散技術，實現更快、更自由、更可控的文本創作體驗。

Gemini Diffusion最大特點就是速度飛快：比谷歌目前最快的非擴散模型還要快，采樣速度每秒1479個token，啟動時間只要0.84秒。

響應速度之快，以至于谷歌在演示中需刻意放慢速度，才能讓觀眾看清文本生成的內容。

除了生成速度快，在生成文本質量上，尤其是文本連貫性和錯誤糾正方面，Gemini Diffusion也優于傳統的自回歸模型。

Gemini Diffusion三大優點：快速響應、文本更連貫、迭代優化

在實時響應或大批量文本生成場景下，Gemini Diffusion具有明顯優勢。

在任務準確度上，二者各有千秋，取決于任務類型。

Gemini Diffusion，在生成效率和局部準確度方面表現優異，但在通用智能和知識覆蓋方面尚未全面超越當前最強的自回歸模型。

不止是快，代碼和數學也很強

在外部基準上，Gemini Diffusion的性能可與更大的模型相媲美，同時速度也更快。

DeepMind將其與自家的Gemini 2.0 Flash-Lite模型進行了對比，在多個代碼基準上幾乎旗鼓相當。

總體來看，Gemini Diffusion在垂直領域（編程、數學）的準確性已經可與一流模型相比，甚至略有勝出，但在通用知識和推理方面仍有明顯差距。

在外部基準測試中，Gemini Diffusion不僅快，在代碼和數學推理任務上也表現優異：

• HumanEval代碼測試：一次性通過率達89.6%，與Gemini Flash-Lite持平；

• AIME 2025數學競賽測試：準確率23.3%，略高于Flash-Lite的20.0%；

• LiveCodeBench實時編程：得分30.9%，領先Flash-Lite的28.5%。

尤其在長文本、邏輯強、結構復雜的任務中，其全局生成策略展現出對傳統架構的替代潛力。

不過，在通用知識類任務上，其表現仍不如當前最強的自回歸模型：

• MMLU多任務問答：Gemini Diffusion得分為69.1%，仍低于GPT-4的86.4%。

• 科學推理GPQA Diamond：準確率40.4%，顯著落后于Flash-Lite的56.5%。

目前，Gemini Diffusion還是實驗性演示版本，要注冊候補名單才有機會體驗。

實測：幾秒完成聊天應用

著名的Web開發工程師Simon Willison，得到了Gemini Diffusion的試用機會。

他表示谷歌所言非虛：

哇，他們說它速度快可不是開玩笑的。

Simon Willison：英國程序員，Web框架Django的共同創作者

在下列視頻中，他給Gemini Diffusion提示是「Build a simulated chat app」，它以每秒857個token的速度作出響應，并在幾秒鐘內生成了一個包含HTML和JavaScript的交互式頁面。

在此之前，唯一一個達到商業級別的擴散模型是今年二月Inception Labs推出的Mercury模型。

Diffusion模型再就業

在AI生圖領域，Diffusion模型節節敗退。

在今年二月，Inception Labs推出了世界上首個擴散語言模型，在速度和成本上比當前一代LLM快多達10倍、便宜多達10倍。

在輸出速度和人工分析編程指數上，可謂「遙遙領先」！

在接受采訪時，斯坦福大學教授、Inception Labs聯合創始人Stefano Ermon表示：

過去很多嘗試將擴散模型用于文本生成都以失敗告終。Mercury之所以成功，是因為我們在訓練和推理算法方面做出了專有的創新。圖像可以模糊地「看個大概」再逐步優化，但語言卻必須嚴守語法規則，這使得迭代優化的過程更加復雜。

Stefano Ermon

而IBM研究員Benjamin Hoover指出，Mercury模型證明了擴散模型正在彌合差距，也指出了趨勢的轉變：

兩三年之內，大多數人將會轉向使用擴散模型。這已經是必然了。當我看到Inception Labs的模型時，我意識到，這種轉變會比預想的更快發生。

Benjamin Hoover

而在「AI四巨頭」中，谷歌是第一家推出擴散語言生成模型的巨頭。

這對于擴散研究領域而言，無疑是個振奮人心的信息。

谷歌DeepMind主任科學家（Principal Scientist）Jack Rae表示，Gemini Diffusion的發布感覺像是一個里程碑。

Gemini Diffusion的成功探索向業界證明，非自回歸的擴散架構在大語言模型上切實可行。

擴散模型威逼GPT，而下一代AI正在浮現。

擴散模型再戰自回歸

傳統的自回歸語言模型是一次生成一個詞或一個token，從左到右逐字預測下一個token，按照順序逐步生成文本（見下圖左）。

由于這種生成方式是逐步進行的，因此速度較慢，也可能限制了生成結果的質量和連貫性。

與傳統的自回歸大語言模型不同，Gemini Diffusion采用了擴散模型的架構：它從隨機噪聲出發，逐步細化出完整的文本段落（見下圖右）。

這種過程類似于圖像擴散模型在圖像生成中的應用——從雜亂噪聲開始，通過多次迭代逐漸生成清晰有意義的輸出。

在文本領域，這意味著Gemini Diffusion可以一次生成整個詞塊，并在生成過程中多輪調整糾錯，逐步逼近最終結果。

它在初始階段給出一段粗糙的文本草稿，然后通過迭代不斷改進內容的準確性和一致性，直到得到高質量的輸出。

這種架構上的根本差異帶來了多方面影響：

首先，并行生成整個文本塊使其速度大幅提升（無需逐詞等待）。

其次，全局視角的生成方式有助于長文本的整體連貫性，因為模型能同時考慮文本各部分的關系，而非局限于局部上下文。

最后，迭代精煉允許模型在生成過程中自我檢查并修正錯誤，使輸出更一致可靠。

擴散大語言模型（Diffusion Large Language Model，dLLM）將為LLM帶來一系列全新的能力，包括：

1. 更強的智能代理能力：dLLM的速度和效率極高，適用于需要大量規劃和長文本生成的智能體應用。

2. 更高級的推理能力：dLLM內置的糾錯機制修復幻覺內容，優化答案，同時保持在幾秒鐘內完成思考。

3. 更可控的生成過程：dLLM支持編輯生成內容，并且可以按任意順序生成token。

4. 邊緣設備上的應用：得益于其高效性，dLLM非常適合資源受限的場景，例如邊緣設備。

擴散模型：不止生圖

在Y Combinator新聞論壇，網友nvtop對Gemini Diffusion提供了一番解釋：擴散語言模型與谷歌的BERT模型頗有淵源，反而與圖像生成領域中的擴散模型沒有太大關系。

這或許能理解為什么谷歌的這次轉向。

論文鏈接：https://arxiv.org/abs/1810.04805

回憶一下BERT是如何訓練的：

（1）輸入一整句完整的句子（例如：「the cat sat on the mat」）

（2）將其中15%的token替換為[MASK]（例如：「the cat [MASK] on [MASK] mat」）

（3）使用Transformer模型并行地預測這些被遮蔽的位置，僅需一步推理（inference）

擴散語言模型的做法則是在這個思路上更進一步。

BERT只能恢復約15%的被遮蔽token（可視為「噪聲」），但完全可以訓練模型來恢復30%、50%、90%，甚至100%被遮蔽的文本。

一旦訓練完成，就可以實現從零開始生成文本：

• 一開始輸入全部為[MASK]的序列，模型輸出的內容可能是胡言亂語。

• 然后隨機選出其中10%的token，把它們標記為「已生成」。

• 在下一次推理中，將剩下90%的位置繼續設為[MASK]，保留前面10%。

• 繼續這樣迭代，在每一輪中都「定住」一部分新的token。

• 大約迭代10次之后，就能生成完整的文本序列。

這正是擴散語言模型的核心理念。

當然，在實際應用中還有很多優化策略。

如果需要生成很長的文本（例如超過200個token），可以將其切分為多個塊（chunk），先并行生成第一個塊，再逐塊向后生成。

這種方法被稱為Block Diffusion，是一種半自回歸式生成方式。

論文鏈接：https://arxiv.org/abs/2503.09573

還可以選擇性地將哪些token在某一輪中被視為「最終生成的」，以及這部分的比例：

• 在早期階段，模型還處于噪聲狀態，可以一次保留更多token。

• 在后期接近完成時，則可以多迭代幾輪，每輪只保留少量新token，以提升質量。

總體來看，擴散語言模型雖然也是迭代式的，但所需步驟遠少于自回歸模型。而且用戶可以自由選擇迭代輪數，實現速度與質量之間的權衡。

極端情況下，甚至可以讓擴散模型僅預測最左邊一個被遮蔽的token，這樣它就退化為一個傳統的因果語言模型了。

文本生成范式轉向

當響應延遲不再顯著，人們可以更自然地將AI融入工作流中，實時協作或即時創意迭代將成為可能。

Gemini Diffusion的成功探索向業界證明，非自回歸的擴散架構在大語言模型上切實可行。

可以預見未來會出現自回歸+擴散融合的模型：利用擴散模型快速生成初稿，再用自回歸模型微調潤色，或者反過來通過自回歸生成草稿、擴散模型高效優化。

這種多階段、多模型協作的框架有望結合雙方優勢，提高生成質量和速度。

這些進展預示著擴散模型正嶄露頭角，可能打破過去多年自回歸模型一統NLP天下的格局。

將高速擴散生成與深度推理相結合，可能是其下一步的研發重點之一。

參考資料：

https://fortune.com/2025/05/21/gemini-diffusion-google-io-sleeper-hit-blazing-speed-ai-model-wars/

https://blog.google/technology/google-deepmind/gemini-diffusion/

https://deepmind.google/models/gemini-diffusion/

https://simonwillison.net/2025/May/21/gemini-diffusion/