已發布的 NeMo 微服務可與合作伙伴平臺集成，作為創建 AI 智能體的構建模塊，使用商業智能與強大的邏輯推理模型 (包括 NVIDIA Llama Nemotron) 處理更多任務。

AI 智能體的準確性、相關性和及時性由驅動它的數據所決定。

NVIDIA NeMo 微服務現已全面推出，可幫助企業 IT 部門快速構建 AI 團隊，通過數據飛輪提高員工生產力。這些微服務提供了一個端到端的開發者平臺，用于創建先進的代理式 AI 系統，并根據推理和業務數據以及用戶偏好使用數據飛輪，以不斷優化這些系統。

借助數據飛輪，企業 IT 部門可以讓 AI 智能體作為數字成員加入。這些智能體可以利用用戶交互以及 AI 推理過程中生成的數據，不斷提升模型性能——將用例轉化為洞察，繼而將洞察轉化為行動。

為代理式 AI 構建強大的數據飛輪

如果沒有來自數據庫、用戶交互或現實世界信號的持續高質量輸入，智能體的理解能力就會下降，導致其輸出不再可靠，并且降低智能體的效率。

要維護和優化生產環境中驅動 AI 智能體的模型，需要三類數據：用于獲取洞察并適應數據模式演變的推理數據，提供智能的最新業務數據，以及驗證模型與應用表現是否符合預期的用戶反饋數據。而 NeMo 微服務能幫助開發者有效利用這三類數據。

NeMo 微服務通過端到端工具加快 AI 智能體的開發。這些工具可用來策劃、定制、評估和保護驅動智能體的模型。

NVIDIA NeMo 微服務（包括 NeMo Customizer、NeMo Evaluator 和 NeMo Guardrails）可與 NeMo Retriever 和 NeMo Curator 一起使用，通過定制企業數據飛輪，簡化企業構建、優化和擴展 AI 智能體的體驗。例如：

• NeMo Customizer 加速大語言模型微調，將訓練吞吐量提升至高 1.8 倍。這一高性能、可擴展的微服務采用主流的后訓練技術，包括監督微調和低秩自適應。

• NeMo Evaluator 只需五次應用程序接口 (API) 調用，即可簡化自定義以及行業基準 AI 模型和工作流的評估。

• NeMo Guardrails 僅需額外半秒延遲，即可將合規性保護提高至多 1.4 倍，幫助組織實施符合組織政策和準則的強效安全防護措施。

借助 NeMo 微服務，開發者可以構建數據飛輪，從而提升 AI 智能體的準確性和效率。NeMo 微服務通過 NVIDIA AI Enterprise 軟件平臺部署，易于操作，并且可在任何加速計算的基礎設施（本地或云端）上運行，提供企業級的安全性、穩定性和支持。

隨著企業構建大規模多智能體系統，微服務已愈發普及。在多智能體系統中，數百個具有不同目標和工作流的專用智能體作為數字員工，協同處理復雜的任務，與員工并肩工作，實現跨職能的輔助工作并提升效率。

這種企業范圍的影響使 AI 智能體成為了一個價值萬億美元的商機，其應用涵蓋自動欺詐檢測、購物助手、預測性機器維護和文檔審查，同時也突顯了數據飛輪在將業務數據轉化為可操作見解方面的關鍵作用。

使用 NVIDIA NeMo 微服務構建的數據飛輪不斷整理數據、重新訓練模型并評估其性能，整個過程幾乎無需人工干預，實現了最大程度的自主性。

行業領導者通過 NVIDIA NeMo 微服務

提升 AI 智能體的準確性

NVIDIA 合作伙伴和行業領導者正在使用 NeMo 微服務構建響應式 AI 智能體平臺，以便數字團隊成員能夠幫助完成更多工作。

AT&T 與 Arize 和 Quantiphi 合作，使用 NVIDIA NeMo 構建了一個先進的 AI 智能體，用于處理包含近 10,000 份文檔且每周更新的知識庫。這款可擴展的高性能 AI 智能體針對三大關鍵業務重點進行了微調：速度、成本效益和準確性，隨著應用規模的擴大，其重要性與日俱增。

AT&T 使用 NeMo Customizer 和 Evaluator，通過微調 Mistral 7B 模型，將 AI 智能體的準確率提高了 40%，從而幫助提供個性化服務、防止欺詐并優化網絡性能。

貝萊德 (BlackRock) 正在其 Aladdin 技術平臺中應用 NeMo 微服務以實現代理式 AI 功能，該平臺通過通用數據語言統一投資管理流程。

思科 Outshift 團隊與 Galileo 一起使用 NVIDIA NeMo 微服務為編碼助手提供支持，可將工具選擇錯誤減少 40%，并將響應時間加快 10 倍。

納斯達克正在基于 NeMo Retriever 微服務和 NVIDIA NIM 微服務加速納斯達克生成式 AI 平臺。NeMo Retriever 增強了該平臺的搜索功能，使準確率和響應時間提高了 30%，并節省了成本。

NVIDIA NeMo 微服務

獲廣泛模型和合作伙伴生態系統支持

NeMo 微服務支持眾多主流的開放模型，包括 Llama、微軟 Phi 系列小語言模型、Google Gemma、Mistral 和 NVIDIA Llama Nemotron Ultra，Llama Nemotron Ultra 是目前在科學推理、編碼和復雜數學基準測試中領先的開放模型。

Meta 已通過全新連接器 Meta Llamastack 接入 NVIDIA NeMo 微服務。用戶可以通過 API 訪問相同的功能，包括 NVIDIA Customizer、Evaluator 和 Guardrails，從而能夠在其環境中運行全套智能體構建工作流。

Meta GenAI 軟件工程師 Raghotham Murthy 表示：“通過 Llamastack 集成，智能體構建者可以應用由 NeMo 微服務驅動的數據飛輪，這使他們能夠持續優化模型，從而提高準確性、提升效率并降低總體擁有成本。”

Cloudera、Datadog、Dataiku、DataRobot、DataStax、SuperAnnotate、Weights & Biases 等領先的 AI 軟件提供商已將 NeMo 微服務集成到其平臺中。開發者可以在熱門 AI 框架 (包括 CrewAI、deepset 開發的 Haystack、LangChain、LlamaIndex 和 Llamastack) 中使用 NeMo 微服務。

企業可以使用 NVIDIA AI 數據平臺產品，通過 NeMo Retriever 微服務構建數據飛輪，這些產品來自企業級 NVIDIA 認證的存儲合作伙伴，包括 DDN、戴爾科技、慧與、Hitachi Vantara、IBM、NetApp、Nutanix、Pure Storage、VAST Data 和 WEKA。

領先的企業平臺 (包括 Amdocs、Cadence、Cohesity、SAP、ServiceNow 和 Synopsys) 正在其 AI 智能體解決方案中使用 NeMo Retriever 微服務。

企業可以在 NVIDIA 加速的基礎架構、網絡和來自領先系統提供商（包括思科，戴爾科技，慧與和聯想）的軟件上運行 AI 智能體。

埃森哲、德勤、安永等咨詢類領先企業正在通過 NeMo 微服務為企業構建 AI 智能體平臺。

開發者可以從 NVIDIA NGC 目錄下載 NeMo 微服務。這些微服務可以作為 NVIDIA AI Enterprise 的一部分進行部署，提供長期穩定的軟件分支，以實現 API 的穩定性、主動安全修復和企業級支持。