英偉達創始人兼 CEO 黃仁勛在 CES 2025 大會上曾經表示：“世界上有 10 億知識工作者，AI 智能體（Agent）可能是下一個機器人行業，很可能是一個價值數萬億美元的機會。”這一判斷引起人們對未來 AI 智能體形態更深入的思考。

AI 智能體有望徹底改變人機交互方式，或許我們將處于這樣的場景：手機中只需要一個高度智能化的“超級數字助手”，而不再需要安裝繁雜種類的 APP。

用戶僅需通過自然語言對話，就能完成訂機票、撰寫文檔、發送郵件甚至社交溝通等復雜任務，實現真正意義上的自然交互。

近期，美國 AI 初創公司 TensorOpera 的研究人員提出了一套名為超級智能體系統（Super Agent System）的完整解決方案 [1]。

這套系統不僅僅是概念設想，而是一整套真實運行的基礎設施體系，其核心模塊包括意圖路由與自動規劃、任務專用智能體、智能模型選擇系統和端云混合部署。

圖丨超級智能體系統概述（來源：arXiv）

Super Agent System 為 AI 智能體的實際應用提供了可靠的技術支撐，有望部署在手機、機器人等終端設備，并加速智能家居設備之間協同工作，完成復雜的任務。

例如，當用戶回到家時，系統僅通過一個 Agent 自動協調各類設備：燈光智能開啟，窗戶自動關閉，關閉涉及隱私敏感的攝像頭；當用戶離開家時，系統又智能重啟相關設備。

當系統集成掃地機器人等設備后，可主動感知用戶狀態，在檢測到用戶外出時主動詢問是否啟動清潔功能，進而有望實現全屋設備真正的自動化協同管理。

圖丨姚宇航（來源：姚宇航）

日前，相關論文以《面向混合人工智能路由器的超級代理系統》（Toward Super Agent System with Hybrid AI Routers）為題發表在預印本網站arXiv上 [1]。TensorOpera 研究科學家姚宇航是第一作者，TensorOpera 的 CEO 何朝陽擔任通訊作者。

圖丨相關論文（來源：arXiv）

姚宇航本科畢業于上海交通大學 IEEE 試點班，后在美國卡內基梅隆大學獲得博士學位。專注于 AI 智能體、大模型推理和聯邦學習系統的研究。

他指出，大模型本身并不能直接應用于實際場景，而 Super Agent System 的突破性意義在于，搭建了從基礎模型到實際應用的完整橋梁。這種端到端的智能解決方案不僅可提升家居自動化水平，更開啟了人機協作的新范式。

提升效率的關鍵：選“對的”模型，比選“大”模型更重要

隨著大語言模型技術的快速發展，超級智能體（Super Agent）正在成為連接用戶意圖與實際任務執行的重要橋梁。

然而，打造一個真正泛化、可靠的智能體系統，并非簡單調用大模型就能實現。

早期的模型部署技術在應對高并發請求時表現不佳，效率問題凸顯。這需要解決包括模型選擇、任務分配、系統容錯等在內的一系列復雜的技術挑戰。

姚宇航解釋說道：“每個 Agent 都‘各有千秋’，它們分別承擔了特定的功能，就像是擁有不同專長的人。當系統接到某項任務時，需要智能地判斷是交給某個 Agent 單獨完成，還是交給多個 Agent 共同協同工作。”

有句廣告語“只選對的，不選貴的”，對于模型的選擇也同樣適用。盡管 DeepSeek、ChatGPT 等大模型擁有強大的性能，但對于總結文檔、日常聊天等簡單任務，利用小模型或調用經過微調的專家模型往往更高效。

該團隊所開發的 TensorOpera Router（以下簡稱為“Router”）[2] 本質上是一個“Prompt-to-Model”分類系統。其通過谷歌的 BERT 等語義理解模型和監督學習方法，通過分析任務需求，動態選擇最適合的專家模型對相關請求進行處理。

（來源：arXiv）

Router 系統的技術優勢體現在多個維度：

首先，它能精準識別任務的復雜度。例如面對數學問題時，系統可以識別“1+1=2”這類簡單計算無需調用大模型，而對看似簡短實則復雜的問題則能匹配專家模型。

其次，系統整合了生物、金融等領域的微調專家模型，通過智能路由實現最優模型組合，為高效智能地進行多模型選擇提供了新方案，而這種智能的路由方式是之前靜態路由所無法實現的。

更重要的是，Router 創新性地解決了模型選擇中準確率、效率和成本的“不可能三角”問題。

在 8 臺 NVIDIA DGX H100 GPU 的實驗條件下，相比于固定模型推理，Router 實現了最高 30% 成本下降（基于真實商業定價模型），以及 40% 的吞吐量提升。即便面對模型服務商動態調整計費策略（如按 API 調用次數收費）的情況，系統仍能保持高效運行。

考慮到真實高并發場景（如每秒數萬次請求）下單點故障的情況，研究人員設計了一種冗余機制：當某次請求失敗時，系統可自動切換到備用節點重新發起請求，以保障系統的持續正常運行。

在技術指標方面，模型選擇性能接近最優模型選擇，BERT 相似度評分提升達 10%；在邊緣-云混合部署架構中，Router 系統能夠有效將大部分請求分配到如 Fox-1.6B 等邊緣小模型上，僅將復雜任務交給 GPT-4o 等云端模型，從而實現了推理效率與資源調度的最佳配置。

（來源：arXiv）

目前，該技術已在實際應用場景中展現出顯著價值。例如，TensorOpera 與高通合作，成功將 Router 部署在高通顯卡上，顯著提升了能效比和性價比。

另一個典型案例是某大型聊天網站，通過 Router 架構每天高效處理 300 萬次訪問請求。“我們僅用少量 GPU 資源就滿足了他們的業務需求，這充分證明了智能路由系統的商業價值。”姚宇航表示。

解決 Agent 實際部署難題：四大核心模塊，構建超級智能體的操作系統

在 Router 基礎上，研究人員通過開發 Super Agent System 實現了技術架構的進一步擴展。

Super Agent System 采用模塊化設計理念，由四大核心組件構成一個完整的智能體生態系統。

1. 意圖路由與自動規劃（Intent Router + Planner）

用戶只需輸入自然語言請求，系統會自動識別其意圖并路由到合適的任務 Agent（如財務分析、代碼生成、內容檢索等）。

圖丨通過函數調用對用戶意圖進行分類（來源：arXiv）

值得關注的是，系統還能自動生成多 Agent 協作的執行計劃。以用戶需要寫一篇關于不穩定關稅交易策略的文章為例，該系統會自動規劃并協調三個 Agent 構成完整的流程，它們分別負責：查找實時關稅信息、設計金融策略，以及實現 C++ 代碼。

姚宇航表示：“整個流程完全自動化，不需要手動編寫代碼。Planner 就像一名項目經理，能自主完成任務分解，并智能分配給不同的 Agent 完成，實現高效地解決問題。”

這種協作還可以無限擴展，據介紹，現階段研究人員正在嘗試更大規模的 Agent 協作，嘗試讓 1000 個 Agent 進行協作和交流，共同完成蓋房子等更復雜的任務。

圖丨自動代理工作流計劃（來源：arXiv）

2. 任務專用智能體（Task Agents）：專業 Agent 專注完成特定任務

每個 Task Agent 都是一個“任務專家”，集成了記憶（Memory）、工具使用能力（Tool Use）與檢索增強生成能力（RAG，Retrieval-Augmented Generation）。

它們可調用數據庫、執行 API 操作，甚至與物理世界進行交互，從而實現從數字到物理的復雜任務自動化。

圖丨任務代理的示例（來源：arXiv）

3. 智能模型選擇系統（Model Router）：選擇“最優解”模型

不同廠商的模型在架構、參數規模和優化目標上存在差異。面對種類繁多的大模型，如何選擇最合適的模型來處理當前任務？

智能模型選擇系統 Router 作為 Super Agent System 核心模塊之一，通過對提示語語義的理解，自動選擇在準確率、響應速度與成本三者中最優的模型，動態路由任務請求。

圖丨具有成本優化配置的模型路由器（來源：arXiv）

即便是金融分析或寫代碼等同類任務，由于任務的難度不同，需要根據任務的復雜程度選擇不同的模型。

姚宇航舉例說道：“對于復雜的任務，我們可以使用滿血版的 DeepSeek 模型；而對于簡單的任務，我們可以使用 Fox 等小模型。這樣能夠在準確率、響應速度和成本之間找到最佳平衡。”

4. 端云混合部署（Edge-Cloud Hybrid）：讓 AI 智能體運行在手機上

該團隊認為，未來超級智能體將運行在終端設備（如手機、機器人）上，結合小語言模型與云端大模型協同工作，既保障了隱私性和實時性，又確保了復雜任務的處理能力。

特別是在當下火熱的具身智能領域，機器人可以依托本地算力完成常規任務，僅在必要時尋求云端支持，實現了計算資源的最優配置。這樣，機器人既可以利用本地的強大能力，又能通過云端獲取更廣泛的支持。

（來源：arXiv）

需要了解的是，Super Agent System 并非傳統的單體架構，而是采用模塊化、插件化的設計理念，為不同場景需求提供靈活可配置的解決方案。這種設計理念為未來智能體開發開辟了新的技術路徑，有望加速 AI 應用在各行業的落地進程。

該架構為開發者帶來了新的可能性：開發者只需定義任務意圖與流程規劃，系統可自動分配 Agent 執行；其次，可根據實際場景靈活部署在本地、邊緣或云端；最后，系統組件具備極強的“系統演化能力”，可隨著模型更新動態替換，進而具備持續進化的能力。

ScaleLLM：大模型推理不只是加速，而是系統級重構

要構建一個真正具備實用價值的智能體系統，單純依靠“模型本體”的性能是遠遠不夠的。系統級的延遲控制、吞吐量優化和并發處理能力，才是決定其能否實現大規模部署的關鍵因素。

針對這一技術挑戰，該團隊創新性地開發了 ScaleLLM[3]——一個專為真實世界智能體服務場景設計的高性能端到端推理框架。

該系統采用多層級機制進行部署，通過自動擴展機制，在真實負載下實現了對主流推理引擎的顯著提升：在 64 并發請求場景下，與 vLLM（Virtual Large Language Model）相比，性能提升 4.3 倍，吞吐量提升 1.5 倍。

其突破性源于多種技術創新在：首先，系統采用 Rust 語言編寫高性能網關，徹底規避了 Python 全局解釋器鎖的性能限制；其次，集成 FlashAttention、PagedAttention 等前沿技術，顯著優化了鍵值緩存（Key-Value Cache）管理和動態批處理效率。

圖丨 ScaleLLM 服務系統概述（來源：arXiv）

談及技術的未來發展，姚宇航表示，當前的模型部署模式與賈揚青創立的 Lepton AI 公司有相似之處，但智能體系統因其解決實際問題的能力，有望創造更高的商業價值。

總體來說，研究人員正在構建完整的超級智能體基礎設施體系：從智能意圖識別到動態模型調度，再從 ScaleLLM 高性能推理系統到端云協同架構。

這種系統級創新徹底改變了傳統的人機交互模式——用戶的一條簡單提示背后，不再是單一模型生成應答，而是一整套智能體系統在幕后完成復雜的任務分解、協作和執行流程。這種變革預示著：在不久的將來，運行在個人終端設備中的超級智能體，有望成為人類與數字世界交互的全新范式。

參考資料：

1.https://arxiv.org/html/2504.10519v1

2.Dimitris Stripelis, Zhaozhuo Xu, Zijian Hu, Alay Dilipbhai Shah, Han Jin, Yuhang Yao, Jipeng Zhang, Tong Zhang, Salman Avestimehr, and Chaoyang He. 2024. TensorOpera Router: A Multi-Model Router for Efficient LLM Inference. In Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: Industry Track, pages 452–462, Miami, Florida, US. Association for Computational Linguistics.

3.Yuhang Yao, Han Jin, Alay Dilipbhai Shah, Shanshan Han, Zijian Hu, Dimitris Stripelis, Yide Ran, Zhaozhuo Xu, Salman Avestimehr, and Chaoyang He. 2024. ScaleLLM: A Resource-Frugal LLM Serving Framework by Optimizing End-to-End Efficiency. In Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: Industry Track, pages 279–289, Miami, Florida, US. Association for Computational Linguistics.

4.https://finance.yahoo.com/news/nvidia-jensen-huang-says-ai-044815659.html?guccounter=1

運營/排版：何晨龍