花了一周時間，總算補完了re:Invent 2024全球大會“云春晚”的主要節目。

干貨太多，讓我有點不知道從哪兒講起了。挑個重點吧，講講亞馬遜云科技的大模型版圖。

先上一張圖，一圖看懂“亞麻云”的大模型布局。

針對上圖，我們再畫個重點，把最最重磅的產品列列↓

▋特別重磅?：

Amazon Nova，這是亞麻云自研的基礎模型，一出場就很炸裂，從評測結果看，具備年度最佳表現，吊打同級別的GPT、Gemimi、Claude等模型。

▋特別重磅?：

Amazon Trainium3芯片，用于大模型訓練的算力怪獸，這顆芯片采用3nm工藝，將于2025年正式發布，是現有Trainium 2芯片性能的兩倍，能效提高40%。

此外還有EC2 Trn2實例，性價比高30~40%，單節點就能提供20.8 PFLOPS算力@FP8，以及基于亞麻云專有網絡互聯技術NeuronLink來構建的算力巨無霸UltraServer。

▋特別重磅?：

Amazon Bedrock模型服務平臺重大更新，提供上百個業界頂級大模型，滿足客戶所有場景需求（包括著名的Claude 3.5、Llama 3、poolside、Stable Diffusion3.5和Luma AI，以及新鮮出爐的Amazon Nova）。

Bedrock提供全托管的一站式服務：模型選擇、推理成本優化、模型定制、安全審核、Agents構建和編排。重點功能“模型蒸餾”，請記住，后面要考。

▋特別重磅?：

Amazon SageMaker全家桶重大升級，整合了A云幾乎所有的數據集成、清洗、分析的工具和服務，并在智能湖倉（LakeHouse）之上，增加了Zero-ETL的數據編織能力。

在這個全家桶里，一份數據集可以用于多個場景，不同的數據集也可以跨源服務于某個場景（甚至不需要做ETL/ELT)，也不需要在各種服務里反復切換。

▋特別重磅?：

Amazon QAI智能助手面向開發場景和商業場景都做了重大更新。

最激動人心的是，它可以自動化完成諸如「VM工作負載遷移到云原生架構、.net應用遷移到Linux應用、IBM主機應用遷移」這些當下既剛需又Boring的工作。

好了，接下來，我來逐層拆解一下這幅大模型版圖。

01、基礎設施層

先看最下面的基礎設施層，搞大模型離不開存算網的配套，而亞麻云則是把云上存算網的能力，直接拉滿了。

基礎設施層：計 算

首先，算力是巨頭們爭奪的焦點，Amazon在計算芯片上持續發力，而且是“四箭齊發”，布局相當全面。

面向訓練場景的Trainium系列、面向推理場景的Inferentia系列、面向通用計算場景的Graviton系列，以及面向DPU場景用于云基礎設施卸載和加速的Nitro芯片。

單個芯片性能“再炸裂”也只是紙面算力，只有成系統、易維護、可交付，而且實際扛活的時候不打折扣、不撂挑子，才算是把紙面算力真正兌現。

亞麻云的牛掰之處在于，將這些自研芯片的算力/能力，用近乎無損的云化方式以服務來交付，自動化、免維護、按需擴展、高性價比…

只有這樣，算力的“原子彈”，才能變成人人會用、好用的“加特林”。

對于廣大AI用戶來講，這個“加特林”，就是那些立等可取的訓練實例、推理實例…，信手拈來，快速投入模型訓推任務即可。

比如新鮮出爐的EC2 Trn2實例，集成了16個Trainium2芯片，基于亞麻云獨創的NeuronLink技術互聯（對比下NVLink），單節點提供20.8 PLOPS算力@FP8，比GPU實例性價比高出30%-40%。

當然，還有更吊炸天的UltraServers，組合更多的Trainium2芯片，變身超級服務器，抱團扛更大的活，比如萬億參數級別的大模型。

UltraServer的互聯還是采用A家自有的NeuronLink，帶寬達到2TB/s，延遲僅為1μs。

UltraServers可以進一步組合，形成更大的超級集群，讓成千上萬的Trainium2協同工作，超強算力、海量HBM內存、無阻塞互聯。

不止如此，在大會現場，亞麻云還投下了一顆重磅算力炸彈，宣布將在2025年發布第三代訓練專用芯片：Amazon Trainium3。

Trainium3是Amazon首款3nm芯片，性能是Trainium2的兩倍，能效提升40%。（預計是第一代的8倍）

Amazon為啥像那些半導體公司一樣，狂卷算力芯片？

只因大模型、GenAI的計算負載，與傳統云工作負載有很大不同，經典云計算的殺手锏是Scale out，你可以組合一堆“老破小”服務器，通過橫向擴展的方式來干大活。

但是，大模型越來越卷的參數量，對算力帶來了前所未有的挑戰。

這些逆天的巨量算力需求，并不能完全通過“Scale out大法”來解決，對單個計算單元的能力要求非常高，既需要Scale out，也需要Scale up。

上面那些發布，展示了亞麻云對未來的預判和決心：①構建單體能力更強的計算節點（Scale up）；②構建規模更大、效率更高的計算集群（Scale up）。

所以，才有了不斷迭代的Trainium系列芯片、計算實例，和基于NeuronLink持續擴展的超級服務器（UltraServer）、超級集群（UltraCluster）。

這種“Scale out+up”架構能打嗎，來看下面這個戰例↓

Claude模型的母公司Anthropic，正在聯合亞麻云構建Rainier項目：該項目基于UltraServer，組成包含數十萬Trainium2芯片的超級集群，提供超過當前5倍的算力（EP級），用于訓練下一代Claude模型。

還不止如此，不要忘了，除了Trainium系列，亞麻云還有算力芯片全家桶：Inferentia系列、Graviton系列，以及Nitro System。

“全家”上陣，各施所長，各顯其能，那才叫一個真能打。

連Apple這樣的大佬，都跑來為之捧場，介紹他們基于Graviton3、Inferentia2和Trainium2來構建Apple Intelligence的實踐經驗。

當然，亞麻云也有這足夠的號召力和生態能力。

除了基于自研芯片提供大模型的訓推服務，還最新發布了基于N記Blackwell芯片P6系列實例，該實例比當前GPU快2.5倍，又是一個大提升。

跑GPU最爽的地方在哪兒？當然是亞麻云。

基礎設施層：存 儲

Amazon S3，是亞麻云2006上線以來的第一款服務，這一次，針對大模型對數據的海量需求，S3又迎來了兩項重磅更新。

第一項是Amazon S3 Tables，這是全新的存儲桶（buckets）格式，相當于完全的Apache Iceberg數據湖服務，用于大型分析數據集。

這種“新桶”，可以大幅提高Iceberg表的性能和擴展性，相比以前，現在每個表都是一級資源，查詢性能提升3倍，事務處理能力提升10倍。并提供表級安全性和更優的成本。

如何利用S3 Tables快速查詢分析并與Amazon云上分析服務聯動

第二項更新是Amazon S3 Metadata元數據服務，這項服務可以幫助用戶從存儲在S3中的PB甚至EB級數據中，大海撈針，迅速找到需要的數據。

S3 Metadata可以自動從對象中捕獲元數據，并近實時地存儲到S3 Tables中，便于后續查詢，并能在對象發生變化時，分鐘級更新對應元數據。

無論是應對海量數據的分析查詢需求，還是為大模型訓練準備和供應優質數據飼料，S3的這兩項更新，都非常應景。

基礎設施層：網 絡

網絡我們不多說，但AI時代網絡的重要性不容小覷：更大帶寬、更低延遲、更高可靠性。

亞麻云怎么做的呢？節點內部，他們有NeuronLink高速互聯，而節點之間，他們推出了“10p10u網絡”，也就是第二代UltraCluster網絡架構。

“10p10u”支持20000+卡集群規模，網絡容量超過10PB，延遲低于10μs。

10p10u網絡可以支撐Trainium2 UltraServer之間的互聯需求，每臺超級服務器都需要接近13TB的網絡帶寬。

為了達到這樣的目標，Amazon集結了一系列的黑科技，包括Nitro萬卡的端側網絡加速和保序、定制的EFA網絡接口、專用的光纜中繼連接器、Firefly光纖插頭、SIDR管理協議等等。

Amazon Nitro網卡演進史

當然對于智算網絡來講，光拼帶寬和時延還不夠，還需要可靠性、安全性、可管理性、性價比等等，以及如何落地到場景，為Bedrock、Amazon Q的開發者提供網絡服務…

Amazon給出了一系列的方案，篇幅有限我不展開了，大家看圖吧。

02、數據層

無論是傳統的分析場景、ML場景，還是如今的大模型訓調推場景，數據和數據質量重要性，不言而喻。

但是，從各種異構的數據源收集數據、對海量不同格式數據進行清洗、快速精準查找有價值的數據…，歷來都是大難題。

這次，亞麻云給出了“終極解決方案”。

數據層：Amazon SageMaker

Amazon SageMaker重裝上陣。

新一代的SageMaker，統一了數據、分析和AI工作流，針對大模型時代客戶面臨的數據分析、模型訓練、資源成本等關鍵難題，提供一站式的工具和服務。

比如，基于SageMaker Unified Studio，用戶可以在統一入口下，使用Amazon所有的數據和AI服務（流處理、數據處理、SQL分析、模型開發、GenAI應用開發、BI、搜索分析）。

如此，數據不需要搬來搬去，工具和服務也不需要來回切換，數據一統、服務一統、工作流一統，效率大大提升。

新SageMaker還提供了面向應用程序的Zero-ETL能力（就是這兩年大火的數據編織DataFabirc），不需要構建和管理數據管道，不需要數據遷移，原地就可以即席分析第三方跨源數據。

同時，Amazon再次表現出對Iceberg的“偏愛”，發布了SageMaker Lakehouse。

這是一套兼容Apache Iceberg的數據湖服務，針對所有類型數據源提供簡單統一的數據接入與訪問控制，讓數據集成更加簡單，為大模型提供優質充足“飼料”更加容易。

03、模型層

模型層的更加激動人心，一是Amazon的自有模型，二是全托管模型服務平臺。

模型層：自有基礎模型Nova

Amazon自己的預訓練模型震撼出爐，一發就是個王炸組合↓

Amazon Nova基礎模型共包括四大模型，從小到大：用于簡單任務的超高性價比文字處理Micro模型；低成本的Lite多模態模型；兼具準確性、速度和成本的Pro多模態模型；用于復雜的推理任務同時也可進行蒸餾定制的Premier多模態模型。

功能方面，Nova模型支持微調（Fine-tuning)，蒸餾（Distillation）訓練更小的模型。

同時，Nova模型與Bedrock知識庫深度集成，可用于RAG，以根據自有數據生成響應。

性能層面，Amazon Nova模型與同類模型相比，Nova在所有基準測試中都是相等或更好，極具競爭力。（對比GPT、Gemini、Claude3.5）

除了這四個基礎模型，還發布了圖像生成模型Amazon Nova Canvas、視頻生成模型Amazon Nova Reel。

同樣，在功能和性能層面，Amazon后發制人，Canvas跟業界頂流產品相比，表現更優（分別對比DALL·E 3和SD 3.5 Large）。

Amazon還有進一步動作，將在2025年提供Speech-to-Speech（語音到語音）和Any-to-Any（多模態到多模態）模型。

模型層：Bedrock全托管模型服務

其實，在過去的一年，Amazon已經反復給大家秀過Bedrock這個平臺的實力了。

這是一個全托管的模型服務平臺，是構建和拓展大模型應用的最簡單方式，提供模型選擇、成本優化、模型定制、安全審核、Agents構建和編排等一站式服務。

在Bedrock上，你可以選擇業界最領先的開源和商業模型，無需關注基礎設施的部署和管理，包括來自全球9家領先AI公司的高性能基礎模型↓

比如著名的商業模型Claude 3.5、著名開源模型Llama 3、開發者最愛模型poolside、著名圖像生成模型Stable Diffusion3.5、黑馬級視頻生成模型Luma AI等等。

同時，通過大模型Marketplace，額外提供100多款通用和行業模型，按需選擇。

選擇合適的基礎模型只是第一步，Bedrock還提供一系列的模型優化和定制手段，相比于傳統的Fine-Tuning手段，這次亞麻云發布了模型蒸餾功能。

蒸餾，顧名思義，把“水分”蒸出去，在不影響性能的前提下，縮小模型體積（參數量），最終獲得一個更有性價比、更低推理延遲的定制模型。

此外，Bedrock還提供了提示詞緩存、智能提示詞路由等功能，進一步進行推理優化、降本提速。

前者可以讓特定模型效率提升85%、成本降低90%，后者在無損質量、不影響準確性的情況下，讓推理成本再降低30%。

這么說吧，亞麻云處心積慮的琢磨著如何幫助客戶省錢，過去賣云是這樣，現在搞大模型也是這樣。

模型定制和優化好了，下一步需要構建具體的大模型應用，Bedrock又拿出了幾項法寶，分別是↓

1、Amazon Bedrock的知識庫：讓用戶通過自動化的RAG工作流程，更好地利用私有數據。
2、Amazon Bedrock Guardrails：為大模型的生成內容提供安全保護，可阻止高達85%的有害內容（包括多模態有害內容，如圖像數據），并支持自動推理檢查，防止因幻覺產生的事實性錯誤。
3、多Agents協作：構建、部署和編排多個Agents，協同處理復雜的多步驟任務。

04、應用層

到了這一層，亞麻云拿出了自己獨門的大模型應用，Amazon Q，這是一個強大的生成式人工智能助手，也是強大的AI生產力工具。

目前主要有兩大應用領域↓

應用層：面向研發場景的Amazon Q

Amazon Q Developer專門面向開發者，端到端滿足整個開發生命周期的需求，并與GitLab深度集成。

老程序舊軟件的維護、移植、修補等無聊工作，開發者們苦之久矣。如今，在GitLab上可以讓Q Developer代勞↓

比如Java應用程序遷移，或者.net應用遷移到Linuxnew。

企業要做云轉型，將大量的VM工作負載遷移為云原生架構new，或者將IBM等大型主機應用程序遷移new等等，這些都可以找“小Q”。

本次，Q Developer還全新推出3個Agents，分別司職生成單元測試、文檔和代碼審查。

這個全能的開發小助手，就是要把開發者從這些非常重要但無差異的工作上解放出來，讓他們可以更專注于創造性任務。

而且，亞麻云產品線太豐富了，產品和服務之間可以做各種聯動。

比如Q Developer與Bedrock聯動，即使用戶一句Python語言也不會，只需用講出業務需求，Q Developer就會指導他一步步在Bedrock上構建出機器學習模型。

應用層：面向商業場景的Amazon Q

Amazon Q Business作為企業級業務小能手，可以連接不同的業務系統、企業數據源，然后用對話的方式進行搜索。這種連接和檢索，在安全和隱私的條件約束下，可以跨越各種數據庫和企業數據。

比如，利用Q Business提供強大的索引能力（Amazon Q index），可以從業界主流辦公、協作軟件源索引過去一年的數據，并持續更新。

怎么樣，你想到了啵，有這個神操作，企業BI的能力可以大大加強了。

Amazon也是這么干的，讓Q Business和QuickSight組成一對好CP，商業智能如虎添翼。

接下來，再通過全新的Q Business API，獨立軟件開發商可在自有軟件中集成Amazon Q index，有了這種超強的跨數據源能力，應用程序可以變得更強大、更個性化。

最后，Amazon還發布Q Business Automate功能，用于創建跨團隊和應用程序的自動任務，讓AI小助手天天揮著鞭子監督和管理一堆Agents干貨，業務系統的自動化能力可以獲得質的飛躍。

至此，從底到上，我們完整拆解了亞馬遜云科技的大模型版圖。

還是那句話，你大爺永遠是你大爺。這才是搞大模型的正確姿勢！

因為篇幅實在有限，re:Invent 2024春晚的更多精彩節目無法一一道來，不過不用急，馬上就會有“返場”了↓

敬請關注re:Invent中國行：12.20成都；12.25武漢、青島；1.10廣州；1.17天津…