當下，人工智能發(fā)展浪潮洶涌澎湃，正以前所未有的速度重塑著各行各業(yè)的格局，企業(yè)級用戶身處這一變革洪流之中，其需求也隨之持續(xù)演進。從對海量數(shù)據(jù)的高效處理，到支撐復(fù)雜模型的精準運算，再到確保全球范圍內(nèi)業(yè)務(wù)的無縫協(xié)同，企業(yè)對于云基礎(chǔ)設(shè)施的要求已突破傳統(tǒng)邊界，邁向全新高度。

亞馬遜云科技敏銳捕捉到這一動態(tài)趨勢，re:Invent 2024大會上宣布了一系列基礎(chǔ)設(shè)施產(chǎn)品與技術(shù)的全方位、深層次的升級與大膽創(chuàng)新。

一方面，計算領(lǐng)域迎來重磅升級，基于自研Amazon Trainium2芯片的Amazon EC2 Trn2實例及UltraServers服務(wù)器登場，滿足AI訓(xùn)練等嚴苛任務(wù)需求，下一代Amazon Trainium3芯片也蓄勢待發(fā)。網(wǎng)絡(luò)層面，升級至第二代UltraCluster架構(gòu)，有力支撐超大規(guī)模GPU協(xié)同，大幅縮減模型訓(xùn)練耗時。

另一方面，在數(shù)據(jù)中心板塊，通過簡化電力分配、創(chuàng)新設(shè)計與冷卻系統(tǒng)，在提升計算能力的同時降低能耗、減少故障風(fēng)險，還大量應(yīng)用可持續(xù)能源，削減溫室氣體排放與混凝土碳排放量。

亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建表示：“亞馬遜云科技是全球云計算的開創(chuàng)者和引領(lǐng)者，更是企業(yè)構(gòu)建和應(yīng)用生成式AI的首選，今年re:Invent全球大會的一系列重磅發(fā)布再次印證了這一點。我們不僅在云的核心服務(wù)層面持續(xù)創(chuàng)新，更在從芯片到模型，再到應(yīng)用的每一個技術(shù)堆棧取得突破，讓不同層級的創(chuàng)新相互賦能、協(xié)同進化。我相信，只有這樣全棧聯(lián)動的大規(guī)模創(chuàng)新才能真正滿足當今客戶的發(fā)展需求，加速前沿技術(shù)的價值釋放，助力各行各業(yè)重塑未來。”

Amazon EC2 Trn2，打造更高性能的AI計算實例

Amazon EC2 Trn2是此次峰會上備受矚目的焦點之一，其專為深度學(xué)習(xí)和生成式AI應(yīng)用而設(shè)計。該實例基于Amazon Trainium2芯片，提供高達20.8 Petaflops的浮點算力，非常適合訓(xùn)練和部署大型語言模型。與基于GPU的EC2 P5e和P5en實例相比，Trn2實例的性價比提升了30-40%，同時提供3.2Tbps的EFAv3網(wǎng)絡(luò)帶寬，支持超大型基礎(chǔ)模型的擴展分布式訓(xùn)練，為用戶提供了更高效、成本效益更高的AI訓(xùn)練和推理解決方案。

此外，Trn2實例支持多種數(shù)據(jù)類型和先進的人工智能優(yōu)化技術(shù)，包括FP32、TF32、BF16、FP16和可配置的FP8（cFP8），以及4倍稀疏性、隨機舍入和專用集體引擎等。這些特性使得Trn2實例能夠支持超過10萬種模型和常用的機器學(xué)習(xí)框架及庫，如PyTorch和JAX，進一步增強了其在AI領(lǐng)域的適用性和靈活性。

為了滿足更大規(guī)模、更復(fù)雜模型的訓(xùn)練和推理需求，Amazon EC2還推出了Trn2 UltraServers。UltraServers通過高帶寬、低延遲的NeuronLink互連技術(shù)，將四個Trn2實例連接在一起，形成一個巨型服務(wù)器，從而擴展到更高的峰值計算能力，達到83.2 petaflops。Amazon EC2 Trn2實例及其UltraServers版本為機器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域提供了強大的計算支持，更加適合部署超大規(guī)模AI應(yīng)用。

網(wǎng)絡(luò)性能實現(xiàn)新突破

眾所周知，人工智能計算對網(wǎng)絡(luò)帶寬的需求很高，主要體現(xiàn)在對超大規(guī)模組網(wǎng)的支持、超高帶寬以應(yīng)對大量數(shù)據(jù)傳輸、超低時延及抖動以保證通信效率、網(wǎng)絡(luò)穩(wěn)定性以確保訓(xùn)練和推理的連續(xù)性，以及網(wǎng)絡(luò)自動化部署能力以適應(yīng)快速變化的計算需求。因此，傳統(tǒng)網(wǎng)絡(luò)架構(gòu)難以滿足人工智能計算的復(fù)雜需求。

基于此，亞馬遜云科技的10p10u網(wǎng)絡(luò)應(yīng)運而生，它基于第二代UltraCluster網(wǎng)絡(luò)架構(gòu)，具有大規(guī)模并行和密集互連的特點，通過提升光纖網(wǎng)絡(luò)密度和開發(fā)可擴展意圖驅(qū)動路由（SIDR）協(xié)議等技術(shù)創(chuàng)新，實現(xiàn)了低延遲、高彈性和高度可靠的網(wǎng)絡(luò)連接。10p10u網(wǎng)絡(luò)能夠支持數(shù)千臺服務(wù)器之間的高效通信，為AI訓(xùn)練和推理任務(wù)提供了強有力的支持。

10p10u網(wǎng)絡(luò)實現(xiàn)了對超過20,000個GPU的協(xié)同工作支持，帶寬高達10Pb/s，同時確保了低于10毫秒的延遲。該技術(shù)還允許服務(wù)器之間直接訪問彼此的內(nèi)存，進一步提高了AI訓(xùn)練和推理任務(wù)的效率，使得模型訓(xùn)練時間縮短至少15%。

除10p10u網(wǎng)絡(luò)之外，此次亞馬遜云科技基礎(chǔ)設(shè)施還開始支持SIDR(Scalable, Intent Driven Routing)。

SIDR巧妙地融合了中央控制的全局優(yōu)化能力和分布式執(zhí)行的速度與彈性，通過集中規(guī)劃生成“網(wǎng)絡(luò)意圖”并預(yù)先分發(fā)至各交換機，實現(xiàn)了既有的全局視野與快速的本地響應(yīng)之間的完美平衡。當網(wǎng)絡(luò)中出現(xiàn)鏈路故障時，交換機能夠立即基于預(yù)設(shè)的意圖自主決策，迅速調(diào)整路由，無需等待中央控制器的指令，從而大幅提升了網(wǎng)絡(luò)恢復(fù)的速度和效率。

相較于傳統(tǒng)的BGP、OSPF等路由協(xié)議，SIDR在亞馬遜云科技的10p10u網(wǎng)絡(luò)環(huán)境中展現(xiàn)出了卓越的性能。在模擬的故障場景下，SIDR能夠在不到1秒內(nèi)恢復(fù)網(wǎng)絡(luò)連接，速度比傳統(tǒng)方法快了整整10倍。這一顯著的進步對于分布式AI訓(xùn)練等需要高可靠性和實時性的應(yīng)用場景來說至關(guān)重要，它確保了即使在面對網(wǎng)絡(luò)故障時，系統(tǒng)也能保持高效運行，為AI應(yīng)用的快速發(fā)展提供了強力的網(wǎng)絡(luò)支持。

構(gòu)建超大規(guī)模模型，縱向擴展能力不可或缺

隨著AI模型復(fù)雜度和數(shù)據(jù)量的不斷攀升，單純依賴集群規(guī)模的橫向擴展已難以有效縮短訓(xùn)練時間，同時實時推理需求也對單實例架構(gòu)提出了更高要求。為此，亞馬遜云科技在單服務(wù)性能的縱向擴展上實現(xiàn)了多項創(chuàng)新突破。

在硬件層面，包括前文提到過的Amazon EC2 Trn2和Trn2 UltraServers超級服務(wù)器，底層Amazon Tranium芯片采用脈動陣列硬件架構(gòu)，專為AI常見的矩陣或張量操作設(shè)計，通過減少內(nèi)存訪問、優(yōu)化計算資源，實現(xiàn)了性能的大幅提升。

在軟件和服務(wù)層面，亞馬遜云科技通過Amazon Bedrock新推出的延遲優(yōu)化選項，實現(xiàn)了大型模型推理性能的提升。無論是預(yù)填充還是標記生成工作負載，用戶都能在各種領(lǐng)先的模型上獲得最佳推理性能。此外，與當前基于GPU的EC2實例相比，Amazon EC2 Trn2實例的性價比有了大幅提升。同時，Amazon Neuron SDK的推出，為開發(fā)者提供了編譯器、運行時庫和工具，幫助他們優(yōu)化模型以在Trainium上運行。該SDK與JAX、PyTorch等熱門框架原生集成，使得用戶在Amazon Trainium上使用現(xiàn)有代碼和工作流時更加便捷。隨著行業(yè)內(nèi)廣泛的開源協(xié)作以及Amazon Trainium2的推出，預(yù)計JAX在機器學(xué)習(xí)社區(qū)的應(yīng)用將顯著增加，這將成為整個機器學(xué)習(xí)生態(tài)系統(tǒng)的重要里程碑。

構(gòu)建AI集群，為橫向擴展鋪平道路

橫向擴展方面，正如前文所述，亞馬遜云科技有最新的AI網(wǎng)絡(luò)架構(gòu)——10p10u，包含了多項創(chuàng)新設(shè)計：首先，通過將16根單獨光纖電纜整合為一個連接器，在工廠完成復(fù)雜組裝，從而加速了54%的安裝到機架的時間；其次，提供定制的光纖插頭和電纜，允許在機架抵達數(shù)據(jù)中心前進行全面測試與驗證，消除了調(diào)試布線的時間，并附帶保護密封，有效防止灰塵顆粒侵入光纖接口。如亞馬遜云科技高級副總裁Peter Desantis所言：“在AI集群的世界里，時間就是金錢。”

據(jù)官方資料顯示，10p10u已成為亞馬遜云科技歷史上擴展速度最快的網(wǎng)絡(luò)，過去12個月內(nèi)已安裝超過300萬條鏈路。

此外，SIDR全新網(wǎng)絡(luò)路由協(xié)議等技術(shù)的加持，也讓網(wǎng)絡(luò)性能有了巨大提升，給橫向擴展帶來了諸多便利。

高可用性+超高密度，未來數(shù)據(jù)中心雛形已現(xiàn)

數(shù)據(jù)中心創(chuàng)新方面，此次亞馬遜云科技重點聚焦于電氣與機械設(shè)計的精簡，將整體系統(tǒng)的可用性提升至99.9999%。這一優(yōu)化將因電氣問題受影響的機架數(shù)量減少89%，確保了基礎(chǔ)設(shè)施的高可用性。

在冷卻技術(shù)、機架布局及控制系統(tǒng)方面，亞馬遜云科技同樣實現(xiàn)了突破性創(chuàng)新。針對高密度計算芯片，引入了先進的液體冷卻解決方案，如“液體到芯片”冷卻系統(tǒng)，有效提升了AI服務(wù)器的散熱效率。這一創(chuàng)新不僅支持了包括Amazon Trainium2、NVIDIA GB200 NVL72在內(nèi)的尖端AI芯片與超級計算解決方案，還通過靈活結(jié)合空氣與液體冷卻，確保了無論是傳統(tǒng)工作負載還是AI模型，都能以最優(yōu)的成本效益運行。

同時，通過軟件預(yù)測與生成式AI的輔助，亞馬遜云科技優(yōu)化了機架布局，實現(xiàn)了電力使用效率的最大化，預(yù)計兩年內(nèi)將機架功率密度提升6倍，并有望在未來進一步提升3倍。此外，自主研發(fā)的控制系統(tǒng)不僅實現(xiàn)了監(jiān)控、報警及運營流程的標準化，還通過提升冗余度與簡化復(fù)雜性，進一步鞏固了基礎(chǔ)設(shè)施的高可用性。

在追求能效與可持續(xù)性方面，亞馬遜云科技同樣取得了顯著成果。新一代冷卻系統(tǒng)預(yù)計可降低機械能耗高達46%，同時保持每兆瓦用水量不變，這得益于單側(cè)冷卻系統(tǒng)的引入、冷卻設(shè)備數(shù)量的減少及液體冷卻技術(shù)的融合。此外，通過采用低碳鋼與低碳混凝土，以及優(yōu)化結(jié)構(gòu)設(shè)計，數(shù)據(jù)中心建筑的混凝土含碳量較行業(yè)平均水平減少了35%。更值得一提的是，備用發(fā)電機將采用可再生柴油作為燃料，這種環(huán)保燃料在生命周期內(nèi)的溫室氣體排放量較傳統(tǒng)化石柴油可減少90%，從而在提升能效的同時，也實現(xiàn)了對環(huán)境的友好與保護。

此次re:Invent 2024上，亞馬遜云科技在基礎(chǔ)架構(gòu)方面有著眾多突破性產(chǎn)品與技術(shù)，從Amazon EC2 Trn2、Trn2 UltraServers、10p10u網(wǎng)絡(luò)、SIDR路由協(xié)議到全新的數(shù)據(jù)中心組件，這些技術(shù)的綜合應(yīng)用，全面優(yōu)化了AI工作負載的處理能力，亞馬遜云科技在支持人工智能發(fā)展方面，又邁出了重要的一步。