數(shù)學(xué)能力幾乎和AlphaGo的圍棋水平一樣？！

這是研究員對(duì)AlphaEvolve的最新評(píng)價(jià)，就在不久之前，谷歌DeepMind聯(lián)合陶哲軒等一眾頂尖科學(xué)家打造了「通用科學(xué)人工智能」AlphaEvolve，直接打破了矩陣乘法領(lǐng)域56年以來(lái)的效率基準(zhǔn)。

一位谷歌前員工更是將這一成就類(lèi)比為傳說(shuō)中的“神之一手”：

• 太瘋狂了！AlphaEvolve的數(shù)學(xué)能力相當(dāng)于AlphaGo打敗人類(lèi)的“神之一手”第37步。

具體而言，4x4矩陣乘法的49次標(biāo)量乘法效率基準(zhǔn)已經(jīng)持續(xù)56年，而AlphaEvolve直接將這個(gè)數(shù)字改寫(xiě)為48。

別看數(shù)字只前進(jìn)了一小步，但背后所代表的更快的矩陣乘法算法可謂意義重大。

不僅可以解決復(fù)雜數(shù)學(xué)難題，還能用來(lái)改進(jìn)芯片設(shè)計(jì)、提高數(shù)據(jù)中心和AI訓(xùn)練的效率。

在谷歌內(nèi)部使用中，它將Gemini架構(gòu)中大型矩陣乘法運(yùn)算加速了23%，從而將Gemini的訓(xùn)練時(shí)間縮短了1%，并且還將FlashAttention提速了32.5%。

那么接下來(lái)的問(wèn)題是——

AlphaEvolve是如何做到的？背后藏著哪些核心技術(shù)原理？

在AlphaEvolve發(fā)布后的第一時(shí)間，知名播客《Machine Learning Street Talk》第一時(shí)間采訪到了其背后的兩位核心研究員：Alexander Novikov（左下）和Matej Balog（右下）。

在1個(gè)多小時(shí)的交談中，關(guān)于AlphaEvolve如何改進(jìn)矩陣乘法的詳細(xì)過(guò)程、背后的技術(shù)原理以及中間遇到了哪些問(wèn)題來(lái)了個(gè)一次性大公開(kāi)。

網(wǎng)友們紛紛表示，很高興看到更多干貨流出~

Okk，以下為重點(diǎn)內(nèi)容整理。

秘訣在于讓AI“完全自由探索”

AlphaEvolve的一大作用，就是推進(jìn)數(shù)學(xué)和算法發(fā)現(xiàn)的前沿。

其中最重要的成果之一，當(dāng)屬改進(jìn)了Strassen于1969年提出的算法，它發(fā)現(xiàn)了一種使用48次標(biāo)量乘法來(lái)對(duì)4x4復(fù)值矩陣進(jìn)行乘法運(yùn)算的算法。

關(guān)于取得這次突破的詳細(xì)過(guò)程，兩位研究人員揭示了幾個(gè)關(guān)鍵環(huán)節(jié)。

大約兩年前，谷歌開(kāi)發(fā)了Alpha Tensor這個(gè)專(zhuān)門(mén)用于發(fā)現(xiàn)矩陣乘法算法的強(qiáng)化學(xué)習(xí)Agent，其前身就是著名的通用棋類(lèi)AI“AlphaZero”，而AlphaZero更是在AlphaGo的基礎(chǔ)上發(fā)展而來(lái)。

雖然Alpha Tensor確實(shí)能找到一些更快的算法，但使用范圍僅限于布爾矩陣（即矩陣中的每個(gè)元素只有0或1），對(duì)普通實(shí)數(shù)/復(fù)數(shù)矩陣無(wú)突破。

于是，AlphaEvolve基于Alpha Tensor框架，進(jìn)一步引入了進(jìn)化算法，通過(guò)迭代生成、評(píng)估和優(yōu)化候選算法來(lái)探索更優(yōu)解。

與人類(lèi)設(shè)計(jì)的算法不同，AlphaEvolve不依賴(lài)一些預(yù)設(shè)的“經(jīng)驗(yàn)法則”或“設(shè)計(jì)套路”，比如習(xí)慣將問(wèn)題固定分塊（幾X幾），而是完全放開(kāi)限制自由探索。

之所以這樣做，是因?yàn)閭鹘y(tǒng)算法的“對(duì)稱(chēng)性陷阱”可能將搜索空間限制在局部最優(yōu)（如49次乘法），從而錯(cuò)過(guò)更高效但結(jié)構(gòu)非常規(guī)的算法。

最終，當(dāng)研究人員主動(dòng)讓AlphaEvolve搜索復(fù)數(shù)矩陣乘法算法（比實(shí)數(shù)更一般化）時(shí)，他們意外發(fā)現(xiàn)復(fù)數(shù)算法在實(shí)數(shù)域同樣有效。

因此他們立即擴(kuò)大搜索空間（更復(fù)雜的運(yùn)算組合），結(jié)果找到了一個(gè)僅需48次乘法的復(fù)數(shù)算法，優(yōu)于Strassen遞歸的49次，并且該算法也進(jìn)一步通過(guò)了數(shù)學(xué)驗(yàn)證。

而在突破4x4矩陣乘法算法后，他們還挑戰(zhàn)了規(guī)模更大的矩陣，如5×5、6×6矩陣。

不過(guò)遺憾的是，AlphaEvolve未能超越現(xiàn)有最優(yōu)解（如6×6因搜索空間爆炸且未引入對(duì)稱(chēng)性偏置）。

研究人員表示，這可能是因?yàn)?strong>更大矩陣需要特定歸納偏置（如對(duì)稱(chēng)性）來(lái)縮小搜索空間，而AlphaEvolve的通用性在此成為劣勢(shì)。

換句話(huà)說(shuō)，今后人們還需要在完全開(kāi)放搜索和約束之間尋找平衡。

但不可否認(rèn)的是，AlphaEvolve的一大優(yōu)勢(shì)在于開(kāi)箱即用，研究員Matej Balog表示：

• 它不僅能用于數(shù)學(xué)和科學(xué)問(wèn)題的新發(fā)現(xiàn)，還能找到可以直接部署到谷歌關(guān)鍵計(jì)算堆棧中的算法。
• 這對(duì)我來(lái)說(shuō)是前所未有的體驗(yàn)，甚至超出了我的預(yù)期。

AlphaEvolve背后核心技術(shù)

AlphaEvolve不是試圖生成解決方案，而是像inception一樣生成生成解決方案的東西，它能夠設(shè)計(jì)非常先進(jìn)的算法。

研究人員提到，AlphaEvolve的高級(jí)架構(gòu)是一種進(jìn)化算法。對(duì)于系統(tǒng)提供的任何代碼段，都可以自動(dòng)評(píng)價(jià)它是否好以及有多好，然后繼續(xù)迭代。

在這種評(píng)估和迭代的循環(huán)中，系統(tǒng)能夠識(shí)別最好的代碼，然后將它“喂”給LLM。

Gemini大語(yǔ)言模型體系

AlphaEvolve以Gemini Flash和Gemini Pro模型為基礎(chǔ)，同時(shí)調(diào)用二者的功能。

Gemini Flash用于提升速度，快速處理大量數(shù)據(jù)、廣泛洞察信息，在生成算法代碼時(shí)，能夠快速篩選大量代碼片段。

Gemini Pro負(fù)責(zé)提升深度理解，深入挖掘潛在規(guī)律，在篩選的代碼片段中選擇最符合需求的部分進(jìn)行整合。

進(jìn)化算法框架

進(jìn)化算法是AlphaEvolve實(shí)現(xiàn)算法優(yōu)化創(chuàng)新的核心機(jī)制。

借鑒“適者生存”理念，對(duì)Gemini 大語(yǔ)言模型生成的多樣化代碼初始種群的每個(gè)算法進(jìn)行適應(yīng)度評(píng)估，對(duì)表現(xiàn)優(yōu)異的代碼保留、變異或組合，投入下一輪優(yōu)化。

這種選擇機(jī)制能夠確保優(yōu)質(zhì)算法的基因被保留，在持續(xù)迭代過(guò)程中，算法種群的整體性能逐漸提升，逐漸逼近最優(yōu)解。

研究人員表示，進(jìn)化算法不僅應(yīng)用在篩選算法的過(guò)程中，還應(yīng)用于優(yōu)化提示詞上。比如，在改進(jìn)特定問(wèn)題之前，會(huì)讓系統(tǒng)對(duì)此問(wèn)題的提示詞本身提出修改建議。

然后在給出的修改后的提示詞中精心挑選一組能夠更好地實(shí)現(xiàn)目標(biāo)的提示。

自動(dòng)化評(píng)估系統(tǒng)

自動(dòng)化評(píng)估系統(tǒng)是AlphaEvolve對(duì)生成算法進(jìn)行全面量化評(píng)價(jià)、篩選的關(guān)鍵模塊。

通過(guò)多維度指標(biāo)設(shè)定、自動(dòng)化測(cè)試執(zhí)行、評(píng)估結(jié)果反饋與迭代引導(dǎo)保障算法的持續(xù)優(yōu)化。

研究人員表示，評(píng)估指標(biāo)會(huì)有一個(gè)非常微妙的限制，他舉了一個(gè)具體的例子，比如在問(wèn)題定義中內(nèi)置時(shí)間約束，只關(guān)注能夠在10分鐘之內(nèi)取得進(jìn)展的搜索算法，探索算法空間。

系統(tǒng)具備將待評(píng)估算法集成到測(cè)試環(huán)境的能力，通過(guò)多場(chǎng)景測(cè)試更全面地給出評(píng)估結(jié)果。

評(píng)估結(jié)果不僅用于篩選算法，還能為算法的進(jìn)一步優(yōu)化提供方向。

比如，某個(gè)矩陣乘法算法在準(zhǔn)確性方面表現(xiàn)良好，但效率較低，那么后續(xù)的優(yōu)化可能會(huì)集中在改進(jìn)計(jì)算流程、減少不必要的計(jì)算步驟上。

基于評(píng)估結(jié)果，自動(dòng)化評(píng)估系統(tǒng)會(huì)將表現(xiàn)優(yōu)秀的算法傳遞給進(jìn)化算法模塊，作為下一代算法的基礎(chǔ)。

異步分布式運(yùn)行架構(gòu)

異步分布式運(yùn)行架構(gòu)是AlphaEvolve實(shí)現(xiàn)高效、靈活算法優(yōu)化的關(guān)鍵架構(gòu)。

在進(jìn)化算法框架中，種群的不同算法可以在異步分布式架構(gòu)下并行進(jìn)化，每個(gè)計(jì)算節(jié)點(diǎn)負(fù)責(zé)種群中的一部分個(gè)體。

例如，在與Gemini大模型的交互中，一些節(jié)點(diǎn)可以用來(lái)生成針對(duì)不同問(wèn)題的算法代碼，而另一部分可以用來(lái)進(jìn)行數(shù)據(jù)優(yōu)化處理。

在適用度評(píng)估過(guò)程中，不同的節(jié)點(diǎn)可以分別負(fù)責(zé)計(jì)算某個(gè)算法在準(zhǔn)確率、效率、資源占用等不同指標(biāo)上的得分。

從算法→模型，形成優(yōu)化閉環(huán)

聊到最后，兩位研究人員還總結(jié)了有關(guān)AlphaEvolve的幾個(gè)重要發(fā)現(xiàn)。

第一，其性能直接受益于基礎(chǔ)語(yǔ)言模型的提升。

當(dāng)前AlphaEvolve主要采用混合模型策略，鑒于模型性能與算法發(fā)現(xiàn)效率存在明確正相關(guān)，因此未來(lái)可進(jìn)一步提升基礎(chǔ)模型能力。

第二，當(dāng)前已初步實(shí)現(xiàn)遞歸自我改進(jìn)，即AI已經(jīng)展現(xiàn)出自我增強(qiáng)的潛力。

一旦將改進(jìn)后的算法應(yīng)用到基礎(chǔ)模型，最終將形成一個(gè)自我優(yōu)化的閉環(huán)。例如一開(kāi)頭提到的，將Gemini架構(gòu)中大型矩陣乘法運(yùn)算加速了23%，從而將Gemini的訓(xùn)練時(shí)間縮短了1%。

第三，當(dāng)前實(shí)際資源消耗呈現(xiàn)高度靈活性。

具體來(lái)說(shuō)，簡(jiǎn)單問(wèn)題幾乎能即時(shí)解決，而類(lèi)似矩陣乘法這樣的復(fù)雜問(wèn)題往往需數(shù)百小時(shí)計(jì)算，系統(tǒng)目前能自動(dòng)匹配問(wèn)題難度調(diào)整資源投入。

除了遵循以上發(fā)現(xiàn)進(jìn)行改進(jìn)，未來(lái)還要在核心保持人機(jī)協(xié)作的同時(shí)提升自動(dòng)化水平，以代替目前人類(lèi)占主導(dǎo)的情形。

總之，通過(guò)以上詳細(xì)介紹，有網(wǎng)友再次意識(shí)到了AlphaEvolve的重要性：

• 我們正在開(kāi)發(fā)一項(xiàng)能夠催生真正新技術(shù)的技術(shù)。