昨日凌晨,谷歌DeepMind在官網(wǎng)推出了一款專為設(shè)計(jì)高級(jí)算法打造的編程AI智能體——AlphaEvolve。該智能體與谷歌的大型模型Gemini高度融合,能夠自動(dòng)評(píng)估并優(yōu)化通用算法,助力開發(fā)者快速研發(fā)出高效且優(yōu)質(zhì)的矩陣計(jì)算算法。簡(jiǎn)言之,盡管大型模型能夠生成各種創(chuàng)新的算法思路,但其實(shí)際效果難以確認(rèn),而AlphaEvolve則充當(dāng)“質(zhì)量檢測(cè)者”的角色,根據(jù)特定標(biāo)準(zhǔn)對(duì)這些算法進(jìn)行可行性評(píng)估。
在展示AlphaEvolve強(qiáng)大能力時(shí),谷歌特別選取了已有三百多年歷史的數(shù)學(xué)難題——親吻數(shù)問題。這一問題最早可追溯到1694年,甚至牛頓曾對(duì)其進(jìn)行過討論和研究。核心難點(diǎn)在于,在特定維度的空間內(nèi),最多能有多少個(gè)尺寸相同的球體同時(shí)接觸一個(gè)中心球體,且這些球體之間不會(huì)互相重疊。
AlphaEvolve成功識(shí)別出由593個(gè)外層球體組成的結(jié)構(gòu)體,并在11維空間中創(chuàng)下了新的下界,超越了此前數(shù)學(xué)界的紀(jì)錄。除此之外,AlphaEvolve還能為復(fù)雜數(shù)學(xué)難題提供創(chuàng)新的解決方案。借助簡(jiǎn)潔的代碼架構(gòu),它設(shè)計(jì)出了一種基于梯度的新型優(yōu)化程序的多個(gè)關(guān)鍵模塊,同時(shí)還發(fā)掘出多種全新的矩陣乘法算法。
AlphaEvolve研發(fā)出了一種適用于4x4復(fù)數(shù)矩陣乘法的新算法,僅需48次標(biāo)量乘法,超越了1969年Strassen提出的此前最佳方案。這一成果標(biāo)志著相較于谷歌此前專注于矩陣乘法的項(xiàng)目AlphaTensor,取得了顯著的突破。與此同時(shí),谷歌還利用AlphaEvolve優(yōu)化大型模型的訓(xùn)練與推理過程。通過將大規(guī)模矩陣乘法任務(wù)拆分為多個(gè)更易處理的子問題,AlphaEvolve提升了Gemini模型架構(gòu)中的關(guān)鍵計(jì)算效率23%,整體訓(xùn)練時(shí)間縮短了1%,從而大幅降低了成本。
AlphaEvolve還具備優(yōu)化GPU底層指令的能力。由于這一領(lǐng)域極為復(fù)雜,且編譯器通常已經(jīng)進(jìn)行了深入的優(yōu)化,因此人類工程師很少直接對(duì)其進(jìn)行調(diào)整。通過AlphaEvolve,基于Transformer的人工智能模型中的FlashAttention核心計(jì)算實(shí)現(xiàn)了最高32.5%的加速。這種優(yōu)化幫助專家更精準(zhǔn)地識(shí)別性能瓶頸,并能輕松將改進(jìn)成果整合進(jìn)代碼庫,從而顯著提升工作效率。
關(guān)于AlphaEvolve的架構(gòu)簡(jiǎn)述,其核心組成之一是任務(wù)定義與評(píng)估模塊,該模塊負(fù)責(zé)明確用戶需求,包括設(shè)定評(píng)估標(biāo)準(zhǔn)、提供初始方案和相關(guān)背景信息。系統(tǒng)通過自動(dòng)化評(píng)估機(jī)制對(duì)生成的解決方案質(zhì)量進(jìn)行衡量,該機(jī)制以函數(shù)形式存在,將方案映射到一組可量化的評(píng)估指標(biāo)上。這些指標(biāo)通常是需要最大化的目標(biāo)。例如,在處理數(shù)學(xué)問題時(shí),若目標(biāo)是尋找滿足特定條件的最大圖,該評(píng)估函數(shù)會(huì)調(diào)用進(jìn)化生成代碼構(gòu)建圖形,驗(yàn)證其屬性,然后以圖的規(guī)模作為評(píng)分依據(jù)。
大模型集成與提示采樣模塊負(fù)責(zé)構(gòu)建豐富的上下文提示,這些提示包括問題的詳細(xì)說明、相關(guān)方程式、代碼片段以及參考文獻(xiàn)等明確信息。為了增加多樣性,系統(tǒng)還采用隨機(jī)格式化技術(shù),通過概率分布引入多種由人工撰寫的備選表達(dá)。此外,該模塊會(huì)展示執(zhí)行后的評(píng)估結(jié)果,包括程序運(yùn)行情況和評(píng)估函數(shù)給出的評(píng)分。元提示進(jìn)化機(jī)制則由大模型自身在額外提示生成階段提供指導(dǎo)性指令和上下文信息,這些內(nèi)容與解決方案代碼共同存儲(chǔ)于獨(dú)立數(shù)據(jù)庫中,幫助模型獲取更多背景知識(shí),提升生成代碼修改建議的準(zhǔn)確性和有效性。
創(chuàng)造性生成與代碼修改是AlphaEvolve的另一關(guān)鍵部分,依托大模型強(qiáng)大的理解與生成能力,提出針對(duì)現(xiàn)有代碼的優(yōu)化方案。大模型能夠利用豐富的上下文信息,結(jié)合此前的嘗試和靈感,設(shè)計(jì)出更優(yōu)的改動(dòng)方案。在具體操作中,AlphaEvolve會(huì)要求模型以差異塊的形式輸出代碼修改,以便針對(duì)某些特定部分進(jìn)行精準(zhǔn)更新;但在代碼較簡(jiǎn)短或需要整體重寫時(shí),也可配置為直接生成完整代碼塊,跳過差異格式。
評(píng)估與反饋模塊負(fù)責(zé)監(jiān)控AlphaEvolve的發(fā)展進(jìn)程,并決定哪些新提出的方案能夠在后續(xù)的進(jìn)化代中繼續(xù)傳播。每個(gè)由大模型生成的解決方案都會(huì)自動(dòng)執(zhí)行用戶定義的評(píng)估函數(shù)進(jìn)行評(píng)分。為了提升評(píng)估的靈活性和效率,AlphaEvolve引入了若干可選機(jī)制:例如,評(píng)估級(jí)聯(lián)允許用戶設(shè)置一系列難度遞增的測(cè)試,只有在前期測(cè)試表現(xiàn)優(yōu)異的方案才會(huì)進(jìn)入后續(xù)更高難度的階段;此外,大模型還能生成輔助反饋,以更全面地評(píng)估那些用戶評(píng)估函數(shù)難以精準(zhǔn)衡量的特點(diǎn);同時(shí),還支持并行化評(píng)估,通過異步調(diào)用評(píng)估集群來分配任務(wù),從而顯著提升評(píng)估速度。
進(jìn)化與數(shù)據(jù)庫管理模塊則負(fù)責(zé)存儲(chǔ)和管理整個(gè)進(jìn)化過程中產(chǎn)生的解決方案,這些數(shù)據(jù)被集中保存在進(jìn)化數(shù)據(jù)庫中,目的是在后續(xù)代中有效地復(fù)用之前被發(fā)現(xiàn)的優(yōu)質(zhì)想法。設(shè)計(jì)這一數(shù)據(jù)庫的核心難題在于如何平衡探索新方案和利用已有最佳方案,以確保持續(xù)進(jìn)步的同時(shí)維護(hù)方案多樣性,激勵(lì)全面的搜索。為此,AlphaEvolve借鑒了MAP精英算法和基于島嶼模型的種群進(jìn)化策略,構(gòu)建了獨(dú)特的進(jìn)化數(shù)據(jù)庫管理機(jī)制。
分布式計(jì)算管道模塊賦予AlphaEvolve以異步處理能力,使其能夠作為一個(gè)流水線系統(tǒng)運(yùn)行。當(dāng)某個(gè)計(jì)算任務(wù)需要依賴尚未完成的結(jié)果時(shí),便會(huì)暫時(shí)暫停等待。該管道設(shè)計(jì)側(cè)重于提升整體吞吐量,而非單個(gè)計(jì)算的執(zhí)行速度,旨在在既定的總體計(jì)算資源限制內(nèi),最大化可生成和評(píng)估的方案數(shù)量。
目前,感興趣的用戶可以前往谷歌DeepMind官網(wǎng)申請(qǐng)使用AlphaEvolve,這對(duì)于從事科研、數(shù)學(xué)及設(shè)計(jì)相關(guān)工作的朋友尤為有益。
我們相信人工智能為普通人提供了一種“增強(qiáng)工具”,并致力于分享全方位的AI知識(shí)。在這里,您可以找到最新的AI科普文章、工具評(píng)測(cè)、提升效率的秘籍以及行業(yè)洞察。 歡迎關(guān)注“福大大架構(gòu)師每日一題”,讓AI助力您的未來發(fā)展。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.