白交 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

Nature：「令人驚嘆」的通用科學(xué)人工智能來了！

谷歌DeepMind再次甩出一顆重磅炸彈：與陶哲軒等一眾頂尖科學(xué)家一起共同打造AlphaEvolve。

它可以設(shè)計(jì)出更快的矩陣乘法算法，可以改進(jìn)芯片設(shè)計(jì)、提高數(shù)據(jù)中心、AI訓(xùn)練的效率，已經(jīng)在谷歌內(nèi)部用上了。

它將Gemini架構(gòu)中大型矩陣乘法運(yùn)算加速了23%，從而將Gemini的訓(xùn)練時(shí)間縮短了1%，谷歌程序員狂喜（bushi）。此外還將FlashAttention提速了32.5%。

幾百年前未曾解決過的數(shù)學(xué)問題，也都能因?yàn)樗斑M(jìn)一大步。

比如一個(gè)經(jīng)典的300年前的幾何挑戰(zhàn)接吻數(shù)（Kissing Number）問題。它關(guān)注的是，給定空間內(nèi)球面相切的不重疊球體的最大數(shù)量。

一維空間和二維空間是這樣的。

AlphaEvolve發(fā)現(xiàn)了一個(gè)由593個(gè)外球體組成的結(jié)構(gòu)，直接刷新了11維空間中的下限。

wiki百科上已經(jīng)更新了記錄。

而它的潛力還在釋放當(dāng)中，陶哲軒表示這個(gè)工作還在進(jìn)行，接下來希望會匯報(bào)更多進(jìn)展。搓搓手期待了~

目前它推出了早期邀測試用，在官網(wǎng)填寫表格，就有機(jī)會使用哦~不僅限學(xué)術(shù)圈的朋友。

AlphaEvolve：谷歌數(shù)據(jù)中心/芯片設(shè)計(jì)已經(jīng)用上

AlphaEvolve是啥？按照官方介紹，這是個(gè)LLM驅(qū)動的進(jìn)化編碼Agent，用于通用算法的發(fā)現(xiàn)與優(yōu)化。

它包括三個(gè)部分：

• 大模型：綜合有關(guān)問題的信息以及以前解決問題的嘗試，并提出新版本的算法；
• 自動評估器：驗(yàn)證、運(yùn)行和評分所提出的算法。
• 進(jìn)化框架：迭代改進(jìn)所發(fā)現(xiàn)的最佳算法，并重新組合不同解決方案的想法，以找到更好的算法。

值得一提的是，這里的大模型是一系列大模型。

比如主打速度和效率Gemini Flash能夠最大限度地拓展探索的思路廣度；而性能更強(qiáng)的Gemini Pro則能夠提供深刻的深度和富有洞察力的建議。這些模型共同構(gòu)建了以代碼形式實(shí)現(xiàn)算法解決方案的算法。

過去一段時(shí)間，AlphaEvolve提升了谷歌數(shù)據(jù)中心、芯片設(shè)計(jì)和AI訓(xùn)練流程的效率，包括訓(xùn)練AlphaEvolve本身所依賴的大模型本身。它還幫助設(shè)計(jì)了更快的矩陣乘法算法，并找到了解決開放性數(shù)學(xué)問題的新方法，展現(xiàn)出在眾多領(lǐng)域應(yīng)用的巨大潛力。

具體來看。

優(yōu)化計(jì)算生態(tài)系統(tǒng)。

過去一年，他們將AlphaEvolve發(fā)現(xiàn)的算法部署到了谷歌整個(gè)計(jì)算生態(tài)系統(tǒng)中，包括數(shù)據(jù)中心、硬件和軟件。

改善數(shù)據(jù)中心調(diào)度。

AlphaEvolve發(fā)現(xiàn)了一種簡單且有效方法，可以幫助Borg更高效地協(xié)調(diào)谷歌龐大的數(shù)據(jù)中心。

（Borg是一種集群管理器，它運(yùn)行著來自數(shù)千個(gè)不同應(yīng)用程序的數(shù)十萬個(gè)作業(yè)，這些作業(yè)分布在多個(gè)集群中，每個(gè)集群最多包含數(shù)萬臺機(jī)器。）

該解決方案已投入生產(chǎn)超過一年，平均持續(xù)恢復(fù)谷歌全球0.7%的計(jì)算資源。這種持續(xù)的效率提升意味著，在任何特定時(shí)刻，相同的計(jì)算資源占用空間可以完成更多任務(wù)。

除此之外，它還帶來了一些操作上面的優(yōu)化：可解釋性、可調(diào)試性、可預(yù)測性和易于部署性。

協(xié)調(diào)硬件設(shè)計(jì)。

AlphaEvolve提出了一個(gè)Verilog重寫方案，刪除了矩陣乘法關(guān)鍵算術(shù)電路中高度優(yōu)化的、不必要的位。

至關(guān)重要的是，該方案必須通過穩(wěn)健的驗(yàn)證方法，以確認(rèn)修改后的電路保持功能正確性。該方案已被集成到即將推出的TPU中。

增強(qiáng)AI訓(xùn)練和推理。

除此之外，AlphaEvolve還加速了Gemini的性能和速度。

通過找到將大型矩陣乘法運(yùn)算劃分為更易于管理的子問題的更智能方法，AlphaEvolve將Gemini架構(gòu)中的這一重要內(nèi)核加速了23%，從而將Gemini的訓(xùn)練時(shí)間縮短了1%。

除了性能提升，AlphaEvolve還大大減少了內(nèi)核優(yōu)化所需的工程時(shí)間，從專家數(shù)周的努力縮短到自動實(shí)驗(yàn)的數(shù)天，使研究人員能夠更快地進(jìn)行創(chuàng)新。

AlphaEvolve還能優(yōu)化低級GPU指令。AlphaEvolve對基于Transformer的FlashAttention內(nèi)核實(shí)現(xiàn)了高達(dá)32.5%的提速。這種優(yōu)化可以幫助專家找出性能瓶頸，并輕松地將改進(jìn)措施納入代碼庫，從而提高他們的工作效率，并在未來節(jié)省計(jì)算和能源。

推進(jìn)數(shù)學(xué)和算法發(fā)現(xiàn)的前沿。

基于計(jì)算機(jī)程序的極簡代碼框架，它設(shè)計(jì)了一種基于梯度的新型優(yōu)化程序的諸多組件，發(fā)現(xiàn)了矩陣乘法的多種新算法。

比如，它發(fā)現(xiàn)了一種使用48次標(biāo)量乘法來對4x4復(fù)值矩陣進(jìn)行乘法運(yùn)算的算法，改進(jìn)了Strassen于1969年提出的算法，該算法此前被認(rèn)為是此類算法中的最佳算法。

與之前的AlphaTensor相比，后者專注于矩陣乘法算法，對于4x4矩陣，僅發(fā)現(xiàn)了二進(jìn)制運(yùn)算的改進(jìn)。

他們還將該系統(tǒng)應(yīng)用于數(shù)學(xué)分析、幾何學(xué)、組合學(xué)和數(shù)論領(lǐng)域的50多個(gè)未解決的問題。

在大約75%的案例中，它能夠重新發(fā)現(xiàn)最先進(jìn)的解決方案。在20%的案例中，它改進(jìn)了之前已知的最佳解決方案。

陶哲軒與DeepMind合作

2023年，他們的FunSearch首次證明大型語言模型可以生成用計(jì)算機(jī)代碼編寫的函數(shù)，如今在這基礎(chǔ)之上，已經(jīng)展現(xiàn)出解決通用算法/數(shù)學(xué)問題的潛力。

從團(tuán)隊(duì)上看也新增了不少合作者，谷歌之前的頂尖科學(xué)家，比如就有陶哲軒。

他們還與People+AI團(tuán)隊(duì)一起建立了個(gè)用戶友好的交互界面。

雖然AlphaEvolve目前正被應(yīng)用于數(shù)學(xué)和計(jì)算機(jī)領(lǐng)域，但其通用性意味著它可以應(yīng)用于任何問題，其解決方案可以被描述為算法并自動驗(yàn)證。

但他們相信，AlphaEvolve可以在材料科學(xué)、藥物發(fā)現(xiàn)、可持續(xù)發(fā)展以及更廣泛的技術(shù)和商業(yè)應(yīng)用等更多領(lǐng)域帶來變革。

白皮書：
https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/AlphaEvolve.pdf
參考鏈接：
[1]https://mathstodon.xyz/@tao/114508029896631083
[2]https://deepmind.google/discover/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/
[3]https://x.com/GoogleDeepMind/status/1922669325283942539