“首次價值實現時間”是 AI 開發領域最重要的指標之一。

AI 正在為所有人創造價值，從藥物發現領域的研究人員到應對金融市場變化的量化分析師均受益匪淺。

AI 系統生成“token”（用于串聯輸出結果的數據單元）的速度越快，其影響力就越大。這正是 AI 工廠的關鍵所在，它提供了從“首 token 時延”到“首次價值實現時間”的最高效路徑。

AI 工廠正在重新定義現代基礎設施的經濟學。它們通過大規模地將數據轉化為有價值的輸出內容（無論是 token、預測、圖像、蛋白質還是其他形式的內容）來生產智能。

AI 工廠有助于提升 AI 應用流程中的三個關鍵環節：數據攝取、模型訓練和高吞吐量推理。通過三大核心技術棧（AI 模型、加速計算基礎設施和企業級軟件），AI 工廠能夠更快、更精準地生成 token。

下面將介紹 AI 工廠是如何幫助全球各地的企業把最寶貴的數字商品——數據轉化為創收潛力的。

從推理經濟學到價值創造

在構建 AI 工廠之前，理解推理經濟學至關重要，推理經濟學意味著如何平衡成本、能效和日益增長的 AI 需求。

吞吐量指模型可生成的 token 總量。延遲是模型在特定時間內輸出的 token 數量，通常以首 token 時延（用戶輸入提示后，模型生成第一個輸出 token 所需的時間）和“首 token 后，每個輸出 token 的時延”（生成每個額外 token 所需的時間）來衡量。有效吞吐量（Goodput）是一個較新的指標，用于衡量一個系統在滿足延遲目標的同時可交付的有用輸出量。

用戶體驗是所有軟件應用的關鍵所在，AI 工廠也不例外。高吞吐量意味著更智能的 AI，低延遲則確保了及時的響應。當這兩項指標實現合理平衡時，AI 工廠就可通過快速提供有用的輸出，帶來卓越的用戶體驗。

例如，響應時間為 0.5 秒的 AI 客服比 5 秒響應的 AI 客服更具吸引力和價值，即使兩者最終生成的 token 數量相同。

企業可借此機會為其推理輸出設定具有競爭力的價格，從而提升每個 token 的創收潛力。

衡量和可視化這種平衡頗具挑戰，而這正是“帕累托”前沿概念的用武之地。

AI 工廠輸出：高效 Token 的價值

如下圖所示，在規模化部署 AI 時，帕累托前沿有助于直觀地表明如何在沖突的目標（如快速響應與同時服務更多用戶）之間達到最優的平衡。

縱軸代表給定能耗下的吞吐效率（單位為 TPS，也就是每秒 token 數）。該數值越高，AI 工廠可同時處理的請求就越多。

橫軸表示單個用戶的 TPS，代表模型響應用戶給出首個提示的用時。該數值越高，預期的用戶體驗就越好。對于聊天機器人和實時分析工具等交互式應用，更低的延遲和快速的響應尤為重要。

帕累托前沿的最大值（顯示為曲線頂點）代表了特定運行配置下的最佳輸出。目標是為不同的 AI 工作負載和應用找到吞吐量與用戶體驗之間的最優平衡。

頂尖的 AI 工廠通過加速計算來提升“每瓦 token 數”，即在優化 AI 性能的同時大幅提高 AI 工廠和應用的能效。

以上展示的動畫對比了在 NVIDIA Hopper GPU（配置為每用戶每秒 32 個 token）與 NVIDIA Blackwell Ultra GPU（配置為每用戶每秒 344 個 token）上運行時的用戶體驗。在上述用戶體驗設置下，Blackwell Ultra 實現了 10 倍以上的體驗提升和近 5 倍的更高吞吐量，實現了最高達 50 倍的創收潛力。

AI 工廠的實際運行

AI 工廠是一個系統，它包含了一套將數據轉化為智能的組件。它不一定是高端的本地數據中心，也可能是在加速計算基礎設施上運行的 AI 專用云或混合模型，甚至可能是同時優化網絡并執行邊緣推理的電信基礎設施。

任何配備了軟件的加速計算基礎設施，只要能通過 AI 將數據轉化為智能，本質上均可視為 AI 工廠。

AI 工廠的組件包括了加速計算、網絡、軟件、存儲、系統以及工具和服務。

當用戶向 AI 系統輸入提示時，AI 工廠的全棧系統就開始工作。它將提示 token 化，也就是將數據轉化為圖像、聲音、文字片段等語義單元。

每個 token 被輸入到 GPU 驅動的 AI 模型中，隨之在模型上進行計算密集型推理，以生成最佳響應。每個 GPU 通過高速網絡和互連技術執行并行處理，從而同時處理海量數據。

對于來自全球用戶的各種提示，AI 工廠都會運行上述流程。這種實時推理能夠以工業級規模來生產智能。

由于 AI 工廠整合了整個 AI 生命周期，該系統能夠持續改進：記錄推理過程，標記邊緣案例以進行再訓練，優化循環隨時間逐漸收斂。這一切均無需人工干預，這就是“有效吞吐量”的實際體現。

面向 AI 工廠的 NVIDIA 全棧技術

AI 工廠將 AI 從一系列零散的實驗轉化為可擴展、可重復且可靠的創新與商業價值生成引擎。

NVIDIA 提供構建 AI 工廠所需的所有組件，包括加速計算、高性能 GPU、高帶寬網絡和優化的軟件。

例如，NVIDIA Blackwell GPU 可以通過網絡連接，采用液冷技術提升能效，并由 AI 軟件統一編排。

開源推理平臺 NVIDIA Dynamo 為 AI 工廠提供了一種操作系統，該系統旨在以最高的效率和最低的成本加速并擴展 AI。通過智能地路由、調度和優化推理請求，Dynamo 確保每個 GPU 周期都能得到充分利用，從而以峰值性能生產 token。

NVIDIA Blackwell GB200 NVL72 系統和 NVIDIA InfiniBand 網絡專為最大化“每瓦 token 吞吐量”而設計，使 AI 工廠在總吞吐量和低延遲方面均實現高效運行。

通過驗證優化后的全棧解決方案，企業可以高效地構建和維護前沿 AI 系統。全棧 AI 工廠助力企業實現卓越運營，使他們能更快、更自信地駕馭 AI 的潛力。

了解更多 AI 工廠如何重新定義數據中心并開啟 AI 新時代，請閱讀：https://blogs.nvidia.cn/blog/ai-factory/?sessionid=348830655