如果你是一家電商企業，只要告訴Amazon Bedrock Agents，它是一個要幫客戶退貨的客服代表，就可以快速構建一個退換貨的客服系統。

如果你是企業的IT人員，只需用自然語言描述工作負載的需求，Amazon Q就像一個云計算專家，可以告訴你什么樣的EC2實例更適合自身業務。

當很多人認為云計算只是為生成式AI提供基礎設施底座時，在2023年re:Invent峰會上，亞馬遜云科技的一系列重磅發布，預示著這家云計算巨頭已經將生成式AI嵌入到越來越多云服務中，幫助企業在云上便捷、快速地構建生成式AI應用。

亞馬遜云科技大中華區產品部總經理 陳曉建

一方面，Anthropic、Stability AI這樣的頭部科技公司始終需要更高效更具性價比的生成式AI基礎設施。另一方面，更多企業需要的不是通用的基礎大模型，而是如何更快開始借助生成式AI進行業務創新，加速應用落地。

面對這些差異化的需求，亞馬遜云科技都能滿足，這種能力來自其最新升級的全棧生成式AI三層架構。

最底層是用于基礎模型訓練和推理的基礎設施，包括芯片、軟件、網絡環境等。

中間層是構建生成式AI的工具層，包括提供豐富的基礎大模型選擇的Amazon Bedrock平臺和Guardrails、Agents等。

最上層是開箱即用的應用程序，包括企業級生成式AI助手Amazon Q、Amazon CodeWhisperer等。

覆蓋硬件、軟件、網絡環境的基礎設施底座

在生成式AI的芯片布局中，亞馬遜云科技堅持開放合作和自研芯片兩大策略。

“今年re:Invent上可以看到我們在努力地使自己成為云上提供英偉達GPU最好的云計算廠商。”亞馬遜云科技大中華區基礎設施產品技術總監郭峰向媒體表示。

亞馬遜云科技始終保持著在云上用英偉達芯片進行AI創新的領先地位。今年早些時候，亞馬遜云科技是全球第一家將英偉達H100 GPU和Amazon EC2 P5實例推出市場的主要云服務商。

在re:Invent2023，亞馬遜云科技與英偉達的合作進一步升級。

亞馬遜云科技是首家將全新超級芯片GH200導入云計算的云服務商，首款使用英偉達最新芯片GH200 NVL32 的英偉達DGX云即將登陸亞馬遜云科技。同時，雙方還將開展“Project Ceiba”合作項目，它將配備1.6萬個英偉達GH200超級芯片，并結合亞馬遜云科技高性能網絡傳輸服務EFA與虛擬化芯片Nitro，能夠達到65 ExaFLOPS的性能，將成為全球最快、基于GPU的AI超級計算機。

自研芯片方面，今年新推出了新一代通用芯片Amazon Graviton4和訓練芯片Amazon Trainium2。

Amazon Graviton4的創新可以參考智能進化論此前文章《云上算力進化無止境，Amazon Graviton4已出發》。

相比上代產品，Amazon Trainium2性能提升了四倍，特別針對于千億甚至萬億參數的大模型訓練做了調優。Anthropic 正計劃用 Amazon Trainium2 芯片構建模型。

Amazon Graviton芯片的應用越來越廣泛，涵蓋了Web服務、數據庫應用、大數據分析和機器學習。

由于廣泛的應用場景，Amazon Graviton已被全球范圍各行各業的客戶用來降本增效。

全球知名廣告服務商FreeWheel在廣告推薦場景中廣泛使用Amazon Graviton3的實例，在相同成本下，得益于CPU性能的提升，Amazon Graviton3的工作負載量增加了30%。知名游戲公司Habby采用Amazon Graviton3實例，實現性能提升25%。

在算力之外，軟件與網絡環境也是制約大模型訓練推理效率的瓶頸。亞馬遜云科技UltraClusters、EFA、Neuron為更高性能的AI訓練提供保障。

EC2 UltraClusters是一種超大規模集群，由高性能計算、網絡和云存儲組成。每個 EC2 UltraCluster 都是一臺強大的超級計算機，使客戶能夠在多個系統上運行最復雜的 AI 訓練和分布式 HPC 工作負載。

高性能網絡傳輸服務Amazon EFA提供了高達3.2T的網絡互聯能力，客戶可以在單個集群中部署多達兩萬個GPU芯片的超級規模集群，提供相當于20個ExaFLOPS的集成能力，等同于一臺超級計算機。

數據是決定生成式AI應用差異化的關鍵

在全棧生成式AI架構中，中間層是以Amazon Bedrock為代表的工具層。

Amazon Bedrock可以讓用戶通過API的方式調用豐富的基礎大模型。目前，Amazon Bedrock支持的最新基礎大模型包括200K標記上下文窗口的Claude2.1模型、70B的Llama 2大語言模型等。

數據是決定生成式AI應用差異化優勢的關鍵因素。如何將企業自身數據與基礎模型能力更好地結合？亞馬遜云科技推出三種基于基礎模型進行差異化定制的能力：

首先，對基礎模型的微調。

目前，Amazon Bedrock對Cohere Command Lite，Meta Llama 2, Amazon Titan Text Lite & Express的微調能力已經發布，針對Anthropic Claude的微調能力即將推出。

其次，基于檢索增強生成(RAG)能力打造企業的內部知識庫。

目前，內部知識庫依然是企業客戶應用生成式AI的核心場景之一。今年推出的Amazon Knowledge Base服務可以快速搭建知識庫類應用，它原生支持檢索增強生成，并支持多種類型的向量數據庫。

第三，如果企業有大量的私域數據，可以基于云上基礎模型做持續的預訓練。

新推出的Amazon Titan Text Lite和Express，更適合企業客戶對行業模型、場景模型進行預訓練。

在構建工具層，今年亞馬遜云科技一個重磅發布就是可以幫助企業快速創建生成式 AI 應用程序的工具Amazon Bedrock Agents。它可以跨公司系統和數據源執行多步驟任務，開發者只需點擊幾下，就能創建完全托管的 Agents。

以電商退貨場景為例，Amazon Bedrock Agents會通過自己的推理能力來分析和規劃任務，自動推算出如果要做退貨，后臺需要經過幾個步驟，需要調用哪些API，什么時候開始調用。然后它就會執行這個計劃，采取措施、搜集信息來完成任務。整個過程都是自動執行的，大大加速了創建生成式 AI 應用的進程。

在數據安全方面，客戶的任何數據都不會用于訓練底層模型。所有數據在傳輸和靜態時均經過加密，用于自定義模型的數據將保留在客戶的VPC內。安全監管產品Guardrails for Amazon Bedrock，可以根據應用程序需求和政策定制保障措施，阻止生成式AI應用程序中不需要的話題，根據AI策略過濾有害內容。

提升各個角色生產力的專家助手

在生成式AI應用層，企業級生成式AI助手Amazon Q是最重磅的新產品。

亞馬遜云科技大中華區產品部總經理陳曉建介紹，目前Amazon Q有四大應用場景，今后更多的亞馬遜云科技的云服務內嵌到Amazon Q的能力。

第一， 作為亞馬遜云科技的專家，幫助開發人員更好地選擇和使用云服務。

用戶可以用自然語言詢問Amazon Q任何關于亞馬遜科技產品的相關問題，比如什么樣的EC2實例更匹配自己的工作負載，或了解故障發生的原因和解決辦法。

在亞馬遜云科技內部，某團隊通過使用Amazon Q，短短兩天之內就把一千多項應用做了Java的升級，把Java底層版本從Java8升級到了Java17。

陳曉建還舉例說，如果用戶想把今年re:Invent的眾多視頻從YouTube上下載，通過Amazon Transcribe把視頻文字摘取出來，然后通過翻譯服務把文字從英文轉成中文。只要一條簡單的自然語言指令，Amazon Q就可以幫助我們生成相應的代碼，去完成所有上述一系列操作。

第二， 幫助業務人員更高效地完成工作。

Amazon Q目前可以連接40多種流行的數據源，包括像Amazon S3、Google Drive、Microsoft 365、Gmail、Salesforce、ServiceNow、Slack等，可以為員工的業務問題提供答案。Amazon Q而且嚴格遵守訪問控制全新，僅返回用戶角色授權可以查看的信息。

第三， 更強的商業智能BI能力。

將Amazon Q的能力嵌入商業智能工具Amazon QuickSight，可以獲得更智能的BI能力。用戶僅需通過自然語言提問，就可以自動化生成業務分析圖表，輔助用戶做出更精準的商業決策。

第四，將生成式AI能力嵌入云呼叫中心Amazon Connect。

Amazon Connect中的Amazon Q可以深入了解客戶意圖，根據實時的客戶問題為坐席提供建議和行動，幫助坐席在與客戶實時溝通中做出準確的響應和行動，為客戶提供更快速、更準確的支持。

寫在最后

可以看出，亞馬遜云科技推出的全棧生成式AI架構，為生成式AI時代各個角色的參與者都提供了相對應的解決方案，無論是開發者、架構師、IT人員，或是對大模型相關技術并不了解、只是想使用生成式AI的業務人員。

這也驗證了在生成式AI時代，云服務商兼具基礎設施底座和加速應用構建的多重價值。

“生成式AI正在以意想不到的方式提升人類的生產力，同時也在激發人類的智慧和創造力，我相信未來生成式AI和各行各業業務的結合會充滿著無限的可能性。”陳曉建分享道。

本文為「智能進化論」原創作品。