Nvidia 宣布其 NeMo 微服務現已全面發(fā)布，為企業(yè)提供工具，以構建能夠與業(yè)務系統(tǒng)集成且通過數據交互持續(xù)改進的 AI 代理。此項微服務的推出正值各組織迫切尋求能夠為重大科技投資帶來可量化回報的具體 AI 實施策略之時。

企業(yè) AI 面臨數據整合挑戰(zhàn) 企業(yè)在采用 AI 技術時面臨一大關鍵挑戰(zhàn)：構建能夠通過不斷學習業(yè)務數據來保持準確性與實用性的系統(tǒng)。NeMo 微服務通過打造 Nvidia 所描述的 “數據飛輪” （data flywheel）來應對這一挑戰(zhàn)，使 AI 系統(tǒng)能夠通過持續(xù)接觸企業(yè)信息及用戶交互保持相關性。

該全新工具包包含五項核心微服務：

NeMo Customizer 負責對大語言模型進行微調，以實現更高的訓練吞吐量。

NeMo Evaluator 提供針對定制基準的簡化 AI 模型評估。

NeMo Guardrails 實施安全控制，確保合規(guī)并輸出適當的響應。

NeMo Retriever 實現跨企業(yè)系統(tǒng)的信息訪問。

NeMo Curator 處理與整理用于模型訓練及改進的數據。

這些組件協(xié)同工作，打造出能夠作為數字同事獨立執(zhí)行任務、僅需極少人工監(jiān)管的 AI 代理。與傳統(tǒng)的聊天機器人不同，這些代理能夠自主采取行動并基于企業(yè)數據做出決策，它們可連接現有系統(tǒng)，以訪問信息存儲在組織內部的最新數據。

技術架構支持持續(xù)改進 NeMo 與 Nvidia 推理微服務（命名為 NIMs）之間的區(qū)別在于其互補功能。正如 Nvidia 企業(yè)級生成式 AI 軟件部高級總監(jiān) Joey Conway 所言，“NIMs 用于推理部署——運行模型、問題輸入、答復輸出，而 NeMo 則專注于如何改進該模型：數據準備、訓練技術、評估。”當 NeMo 完成了模型的優(yōu)化后，可通過 NIM 部署到生產環(huán)境中。

早期實踐已展示了顯著的商業(yè)效果。電信軟件供應商 Amdocs 利用 NeMo 微服務開發(fā)了三個專用代理；AT&T 與 Arize 及 Quantiphi 合作，構建了一個每周更新近 10,000 份文檔的代理；而 Cisco 的 Outshift 部門與 Galileo 合作，創(chuàng)建了一款響應速度快于同類工具的編程助手。

這些微服務以 Docker 容器形式運行，并通過 Kubernetes 進行編排，從而實現可在多種計算環(huán)境中的部署。它們支持包括 Meta 的 Llama、Microsoft 的 Phi 系列、Google 的 Gemma 及 Mistral 在內的多種 AI 模型，Nvidia 自家的側重推理能力的 Llama Nemotron Ultra 亦與該系統(tǒng)兼容。

這一發(fā)布進入了一個競爭激烈的市場，企業(yè)在 AI 開發(fā)選擇上眾多，包括 Amazon 的 Bedrock、Microsoft 的 Azure AI Foundry、Google 的 Vertex AI、Mistral AI、Cohere 以及 Meta 的 Llama 技術棧。Nvidia 則通過與自身硬件生態(tài)系統(tǒng)的深度整合以及通過 AI Enterprise 軟件平臺提供的企業(yè)級支持，在眾多方案中脫穎而出。

Nvidia NeMo 與企業(yè) AI 采納 對于技術團隊而言，這些微服務提供了降低實施復雜性的基礎設施。容器化方法使得在內部部署或云環(huán)境中都能利用企業(yè)級的安全性及穩(wěn)定性特性。這種靈活性有效應對了 AI 實施過程中經常碰到的數據主權與監(jiān)管合規(guī)性問題。

在評估這些工具時，組織應考慮現有 GPU 基礎設施投資、數據治理需求以及與現有系統(tǒng)的整合需求。對于在業(yè)務數據不斷變化中仍能保持準確性的 AI 代理的需求，將推動支持持續(xù)學習周期的平臺的廣泛應用。

這種微服務方法反映了整個行業(yè)向模塊化 AI 系統(tǒng)轉變的趨勢，這類系統(tǒng)能夠為特定業(yè)務領域量身定制，而無需重構基礎組件。對技術決策者而言，此次發(fā)布代表了企業(yè) AI 工具向成熟邁進的又一步，有效縮小了前沿研究能力與實際業(yè)務運營之間的差距。

隨著企業(yè)從試驗階段邁向生產級 AI 系統(tǒng)，能夠簡化持續(xù)改進模型構建工具的重要性日益凸顯?！皵祿w輪”概念體現了一種架構模式，即通過不斷接觸組織內部信息，使 AI 系統(tǒng)始終與業(yè)務需求保持一致。