聞樂(lè) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

谷歌又放新大招了，將圖像生成常用的“擴(kuò)散技術(shù)”引入語(yǔ)言模型，12秒能生成1萬(wàn)tokens

什么概念？不僅比Gemini 2.0 Flash-Lite更快。

甚至需要不得不在演示過(guò)程中放慢視頻的速度，才能看清生成過(guò)程。

這是Google DeepMind推出Gemini Diffusion：不同于以往大多數(shù)語(yǔ)言模型“從左到右”預(yù)測(cè)文本的生成方式，而是通過(guò)逐步優(yōu)化噪聲來(lái)學(xué)習(xí)生成輸出

傳統(tǒng)的自回歸模型是根據(jù)已生成的詞序列逐步預(yù)測(cè)下一個(gè)詞，每次只能生成一個(gè)詞或一個(gè)token，這種順序過(guò)程很慢，并且會(huì)限制輸出的質(zhì)量和一致性。

而擴(kuò)散模型的特點(diǎn)則是通過(guò)逐步細(xì)化噪聲學(xué)習(xí)生成，這種特點(diǎn)會(huì)大大提高生成速度，并且減少訓(xùn)練的不確定性。

Gemini Diffusion就是利用了擴(kuò)散模型這一優(yōu)勢(shì)，將文本生成速度提升至2000token/秒

官方給出了Gemini Diffusion的基準(zhǔn)測(cè)試結(jié)果，結(jié)果顯示Gemini Diffusion的表現(xiàn)可與更大的模型（Gemini 2.0 Flash-Lite）相媲美，甚至速度更快。

Gemini Diffusion目前是一個(gè)實(shí)驗(yàn)性演示，官方設(shè)置了訪問(wèn)候補(bǔ)名單，感興趣的朋友可以戳文末鏈接申請(qǐng)?bào)w驗(yàn)

Gemini Diffusion每秒能生成2000個(gè)token

消除“從左到右”文本生成需求

與以往大多數(shù)基于自回歸的語(yǔ)言模型不同，Gemini Diffusion在語(yǔ)言模型中引入了“擴(kuò)散”技術(shù)，它不是直接預(yù)測(cè)文本，而是通過(guò)逐步細(xì)化噪聲來(lái)學(xué)習(xí)生成輸出

這種技術(shù)能夠讓模型在生成過(guò)程中快速迭代，并在生成過(guò)程中進(jìn)行錯(cuò)誤糾正

這種優(yōu)勢(shì)有助于模型在編輯等任務(wù)中表現(xiàn)出色，包括在數(shù)學(xué)和代碼環(huán)境中也能表現(xiàn)良好。

有一位團(tuán)隊(duì)研究員展示了一個(gè)代碼示例，在這個(gè)示例中，Gemini Diffusion模型以2000 個(gè)token/秒的速度生成，這其中包括toke化、預(yù)填充、安全過(guò)濾器等開(kāi)銷(xiāo)

在生成過(guò)程中進(jìn)行非因果推理

雖然Gemini Diffusion在生成速度上比迄今為止最快的模型還要快得多，但速度卻不是它的唯一優(yōu)勢(shì)。

它能夠一次生成整個(gè)標(biāo)記塊，這意味著對(duì)于用戶(hù)的提示，它能比自回歸模型做出更連貫的響應(yīng)。

在迭代細(xì)化中能夠糾正生成過(guò)程中的錯(cuò)誤以獲得更一致的輸出。

研究員還通過(guò)舉例說(shuō)明，與僅限于一次生成一個(gè)token的自回歸模型不同，擴(kuò)散可以在生成過(guò)程中進(jìn)行非因果推理。

• “(√(81) * (2/3))^2 + (15 - 3) / (2^2)) 等于多少？先給出答案，然后再推導(dǎo)出答案。”

對(duì)于基于自回歸思想的模型來(lái)說(shuō)，這是一個(gè)非常難的問(wèn)題，例如，GPT-4o就無(wú)法解決此問(wèn)題，因?yàn)樗鼈儽仨殗?yán)格自回歸生成文本，無(wú)法跳過(guò)中間token，在生成答案之前對(duì)其進(jìn)行推理。

但擴(kuò)散模型的生成過(guò)程不依賴(lài)于嚴(yán)格的時(shí)序因果關(guān)系，而是通過(guò)并行或迭代式去噪實(shí)現(xiàn)數(shù)據(jù)生成，可以進(jìn)行非因果推理以得出正確答案（答案：39）。

One More Thing

實(shí)際上，自回歸確實(shí)不是LLM的唯一路徑。

此前，人大高瓴人工智能研究院、螞蟻也提出了類(lèi)似研究，LLaDA是基于擴(kuò)散模型的雙向模型。

語(yǔ)言模型逐步引入擴(kuò)散技術(shù)，在未來(lái)，我們是否可以期待更多混合模型的出現(xiàn)呢？

官方鏈接：
https://deepmind.google/models/gemini-diffusion/
體驗(yàn)申請(qǐng)：
https://docs.google.com/forms/d/e/1FAIpQLSdsxa-YU25JIPJGmu-pySJEYeTy6lwbdZAzxlZ11x3GPj6DhA/viewform
[1]https://x.com/GoogleDeepMind/status/1924888095448825893
[2]https://x.com/OriolVinyalsML/status/1924952304324837469
[3]https://x.com/Yampeleg/status/1924915316565377231
[4]https://x.com/bodonoghue85/status/1924930186858135632
[5]https://x.com/koltregaskes/status/1924956764723650862

— 完 —