在數字化轉型浪潮中，代理式AI (Agentic Al) 作為前沿技術的代表，正逐漸成為企業提升效率、優化決策的關鍵工具。NVIDIA團隊以Agentic AI技術在多個場景中實現創新突破。本文將基于其官方技術博客，還原四大類實踐的核心技術路徑與成果，為廣大開發者提供可參考的落地范本。

01實踐一：AI銷售助手——企業級數據中樞

在NVIDIA，銷售團隊依賴于內外部文檔，需要多個存儲庫來查找信息，耗時高且跨系統數據一致性難以保障。此外，NVIDIA的產品組合多種多樣，要求銷售團隊在快節奏的AI市場中及時了解最新信息。

基于此，NVIDIA使用LLM和檢索增強生成 (RAG) 技術開發了一個集成到工作流中的AI銷售助理，可即時訪問專有數據和外部數據，以簡化銷售工作流，解決上述挑戰。

銷售助理的優勢

統一的信息訪問：通過Perplexity API和網絡搜索將內部NVIDIA數據與更廣泛的見解相結合。

企業級聊天：使用Llama-3.1-405B-instruct等模型處理拼寫檢查、摘要、編碼和分析等各種查詢。

簡化的CRM集成：使用Text2SQL方法直接在CRM系統中匯總銷售數據，從而自動生成SQL查詢并增強報告功能。

架構和工作流程

LLM輔助文檔提取工作流：所有文本均使用LLM處理，并將其轉換為標準化的Markdown格式以供提取。相關步驟包括使用NVIDIA Multimodal PDF Ingestion Blueprint解析PDF、使用NVIDIA Parakeet NIM轉錄音頻文件、使用Llama 3.1 70B進行編輯和翻譯，以及將結果存儲到Milvus數據庫中。

Wide RAG集成：在文本生成過程中使用prompts，將引用替換為簡潔的字母數字鍵。在后續的postprocessing步驟中，這些密鑰將替換為完整的引用詳細信息，從而顯著提高內聯引用的可靠性和準確性。

事件驅動型聊天架構：通過LlamaIndex工作流管理生成過程，Chainlit上下文管理器展示進度。對于需要復雜推理的任務，使用帶有思維鏈推理的結構化生成技術顯著提高為CRM數據生成的查詢的質量。

早期進展指標：引文卡可在第三方API調用期間提供實時反饋。

成果價值

• AI銷售助理優化了查詢處理，確保高性能和準確性，滿足動態數據密集型環境的需求。

• 提供即時的定制見解，同時顯著提高工作流程效率和用戶參與度。

微調小語言模型 (SLM) 通常利用知識蒸餾等技術，可以應對一些LLM帶來的挑戰，例如成本高、數據隱私問題、需要大量的提示工程才能在特定用例中實現高準確性等挑戰。這些較小的模型可提供接近更大模型的性能，并且速度更快、成本效益更高。然而，微調較小的模型需要高質量的標記數據，而創建這些數據既耗時又昂貴。

NVIDIA構建了一種自動微調方法，該方法通過使用數據飛輪策略來應對這些挑戰。通過使用大型“教師”模型生成和結構化合成訓練數據，此方法可優化微調過程，使較小的模型能夠更有效地處理復雜任務，同時盡可能減少人工干預。

NVIDIA開發的自動微調方法從教師如何調整課程以解決學生的特定改進領域中汲取靈感。它采用師生范式，融合了知識蒸餾的原則。詳細微調方法可閱讀官方博客。

SLM在代碼審查自動化中的實際應用

代碼審查對于確保軟件質量和性能至關重要，傳統上由人工審查人員執行。

經過微調的SLM增強了NVIDIA自動代碼審查：

• 提高LLM在分配嚴重程度時的準確性。

• 提高LLM的推理清晰度和質量。

Slackbot作為寶貴的虛擬助手，能夠處理各種任務。這不僅可以節省時間和資源，還可以打造更具協作性和高效的工作環境。如何快速構建超越簡單自動化的智能Slackbot？

使用NVIDIA NIM和LangChain針對特定用例可創建自定義Slackbot智能體。

Slackbot的初始實施支持通過Slack通道、線程和聊天機器人個人信息進行交互。支持這種交互的主要模型是llama-3_1-405b-instruct，可以訪問外部工具來增強響應。這些工具涉及調用和預處理外部端點。

在開始構建Slackbot之前，請確保：

• 設置Slack。

• 熟悉一下LangChain和代理。

安裝所需的庫包括以下內容：

openai

boto3

slack_bolt

slack-sdk

langchain

python-dotenv

langchain-community

langchain-nvidia-ai-endpoints

python-dotenv

langchainhub

您還需要以下資源：

• 來自的API密鑰NVIDIA API Catalog。

• AWS帳戶 (適用于Amazon EC2、Amazon Aurora、Amazon DynamoDB、Amazon ElastiCache等) 或類似云服務。

• Jupyter Lab notebook用于初始測試。

以下是在AWS上部署Slackbot的步驟：

• 安裝所需的庫: 在設置代理之前，請確保安裝了必要的庫，例如LangChain、 LangChain NVIDIA AI端點 、Slack SDK等

• 定義主智能體：定義用于用戶交互的主要Slack功能，并將NIM模型集成為主代理

• 設置DynamoDB進行內存管理: 要跟蹤代理交互，請初始化DynamoDB表并配置會話內存

• 配置對話式內存: 將聊天消息歷史記錄集成到agent的對話內存中

• 定義基于關鍵字的工具用法: 添加基于關鍵字的觸發器，以提示機器人使用特定工具

• 完成智能體: ReACT是一個框架，其中大型語言模型 (LLM) 將推理與行動相結合。使用它根據所提供的示例解決任務。使用預定義的變量創建ReACT代理和代理執行程序

• 在Amazon Aurora PostgreSQL中保存交互: 將交互保存在Amazon Aurora PostgreSQL數據庫的預定義函數中

AI智能體正在通過自動執行任務、優化流程和提高生產力來轉變企業應用。NVIDIA NIM微服務提供了一種無縫集成多個代理和工具的方式，使企業能夠創建定制的AI驅動解決方案。

該實踐展示了如何使用NIM AI端點創建具有自定義工具的端到端Slackbot智能體。這一解決方案增強了簡單的Slack界面，使其能夠處理更復雜的任務并解決獨特的挑戰。

有關更多示例，請查看官方/NVIDIA/GenerativeAIExamples GitHub 庫。

04實踐四：自動化測試生成——Hephaestus框架

在軟件開發中，測試對于確保最終產品的質量和可靠性至關重要。然而，創建測試計劃和規范可能耗時且需要大量人力，尤其是在復雜系統中管理多種需求和不同測試類型時。許多此類任務通常由測試工程師手動執行。

為了簡化這一過程，NVIDIA的DriveOS團隊開發了Hephaestus (HEPH)，這是一個用于自動測試生成的內部生成式AI框架。HEPH可自動執行各種測試的設計和實施，包括集成測試和單元測試。

HEPH在測試生成過程的每個步驟（從文檔追蹤到代碼生成）中都使用LLM智能體。這實現了整個測試工作流程的自動化，并為工程團隊節省了大量時間。

• 節省時間：HEPH顯著加快了測試創建過程。在NVIDIA多個試點團隊的試驗中，團隊報告節省了多達10周的開發時間。

• 上下文感知測試生成：HEPH使用項目文檔和接口規范生成測試規范和實現。每個測試都經過編譯、執行和驗證，以確保正確性。測試覆蓋率數據會反饋回模型，以進一步優化測試生成。

• 多格式支持和模塊化：HEPH支持各種輸入格式，包括PDF、RST、RSTI和HTML，并與內部工具如Confluence和JIRA集成。

結語

NVIDIA四大實踐展現了代理式AI在企業級場景落地的關鍵技術路徑：

1.RAG+LLM實現動態數據整合

2.小模型微調突破成本與隱私瓶頸

3.NVIDIA NIM+LangChain構建輕量級智能體

4.需求驅動測試生成提升質量工程效率

本文僅為核心要點導讀，開發者可點擊“閱讀原文”獲取以上實踐的完整技術細節與代碼示例，探索代理式AI落地應用的更多可能性。

封面圖片來源：NVIDIA官方技術博客

報告下載

大 佬觀點分享

關于RPA、AI、企業數字化轉型

(點擊文字即可閱讀)

| |

| | |

| | |

| | |

| |

行業知識交流分享，結識擴展人脈圈層

公眾號后臺回復【RPA】或者【流程挖掘】

可受邀加入相關的交流群