構建無所不能、無需人類、完全自主行動的 AI agent，是當前大模型行業的熱門研究方向。

主流觀點認為，更高的自主性代表了更好的系統——減少人類介入本身就具有內在價值，而完全的獨立性則應成為最終目標。

然而，華人學者Philip S. Yu（伊利諾伊大學芝加哥分校杰出教授、ACM Fellow、IEEE Fellow）、李東遠（東京大學助理教授）團隊卻有著不一樣的看法：

應當將進步的評判標準從“自主智能”轉向“協作智能”，即發展以人機合作為核心的LLM-HAS（基于 LLM 的人-agent 系統）。

在這種范式下，AI 不再是孤立運作的“操作員”，而是人類的積極協作伙伴；在增強人類能力的同時，也保留了關鍵的人類判斷與監管職責。

相關研究論文以“

A Call for Collaborative Intelligence: Why Human-Agent Systems Should Precede AI Autonomy

論文鏈接：

https://arxiv.org/pdf/2506.09420

在他們看來，AI 的進步不應以系統獨立程度來衡量，而應以它們與人類協作的有效性來評判；AI最值得期待的未來，不在于取代人類角色的系統，而在于通過有意義的合作來提升人類能力的系統。

他們呼吁，業界和學界應從當前對完全自主 agent 的追逐，根本性地轉向以人機協作為核心的 LLM-HAS。

為什么完全自主agent“不行”？

基于 LLM 的自主 agent 是一種能夠在開放、真實世界環境中獨立運行的系統，通過“感知-推理-行動”的循環完成任務，且無需人為干預。

與 Human-in-the-loop 系統不同，基于 LLM 的自主 agent 能夠獨立地解析目標、規劃行為、調用工具，并通過基于語言的推理和記憶進行適應。

例如，在軟件工程領域，GitHub Copilot 可以自主生成、測試并重構代碼，幾乎不需要開發者干預，加速了常規開發流程；在客戶支持領域，AutoGLM、Manus 和 Genspark 等系統能夠在無需人工干預的情況下，完成復雜的行程規劃、自動預訂以及解決服務問題，在動態環境中展現出優秀的感知-動作循環能力。

然而，當前基于 LLM 的自主 agent 在真實世界的部署仍面臨以下三方面挑戰：

1.缺乏可靠性、信任與安全

LLM 容易生成看似可信但實則虛假的“幻覺”內容。幻覺問題的普遍存在，直接削弱了人們對完全自主系統的信任。如果系統無法持續且可靠地提供準確的信息，它在高風險場景下（如醫療診斷、金融決策或關鍵基礎設施控制）將極為危險。

2.處理復雜與模糊任務的能力不足

這類 agent 在需要深度推理的任務中表現不佳，尤其當目標本身含糊不清時更是如此。人類的指令往往并不明確；缺乏常識背景的 LLM 可能會誤解任務，進而采取錯誤行為。因此，在如科學研究等目標開放、動態調整的復雜領域，它們并不可靠。

3.法規與法律責任問題

盡管這類系統具備“行動能力”，但在現有法律體系下，它們并不具備正式的法律責任主體資格。這就導致了責任與透明度之間存在巨大鴻溝：當系統造成傷害或做出錯誤決策時，很難厘清責任應由誰承擔——是開發者、部署者，還是算法本身？隨著 agent 能力的增強，這種“能力”與“責任”之間的法律鴻溝只會愈加嚴重。

LLM-HAS：以人機合作為核心的

與基于 LLM 的完全自主 agent 不同，LLM-HAS 是一種協作框架，其中人類與由 LLM 驅動的 agent 協同工作，共同完成任務。

LLM-HAS 在運行過程中始終保持人類參與，以提供關鍵信息和澄清說明，通過評估輸出結果并指導調整來提供反饋，并在高風險或敏感場景中接管控制權。這種人類參與，確保了 LLM-HAS 在性能、可靠性、安全性和明確的責任歸屬方面的提升，尤其是在人類判斷仍不可或缺的領域。

推動 LLM-HAS 的根本動因，在于它具備解決自主 agent 系統所面臨關鍵局限和風險的潛力。

1.增強的信任與可靠性

LLM-HAS 的交互性特征，使人類能夠實時提供反饋、糾正潛在幻覺輸出、驗證信息，并引導 agent 產生更準確、可靠的結果。這種協同驗證機制是建立信任的關鍵，尤其在高錯誤代價場景下至關重要。

2.更好地處理復雜性與模糊性

相較于在面對模糊指令時容易迷失方向的自主 agent，LLM-HAS 借助人類持續的澄清能力而表現出色。人類提供關鍵的上下文、領域知識，并能逐步細化目標——這是處理復雜任務所不可或缺的能力。當目標表達不明確時，系統可以請求澄清，而不是在錯誤假設下繼續操作。特別適用于目標動態演變的開放式研究或創造性工作。

3.更明確的責任歸屬

由于人在決策流程中持續參與，特別是在監督或干預環節，更容易建立明確的責任邊界。在這種模式下，通常可以明確指定某個人類操作員或監督者為責任主體，從而在法律與監管上更具可解釋性，遠比一個完全自主的系統在出錯后追責要清晰得多。

研究團隊表示，LLM-HAS 的迭代式溝通機制有助于 agent 行為更好地對齊人類意圖，從而實現比傳統的基于規則或端到端系統更靈活、透明且高效的協作，從而廣泛地應用于高度依賴人類輸入、情境推理與實時互動的各類場景，涉及具身智能、自動駕駛、軟件開發、對話系統以及游戲、金融、醫療等。

在上述領域中，LLM-HAS 將人類與 AI 的交互重新定義為基于語言的協作過程，該過程受反饋塑造并由適應性推理驅動。

五大挑戰與潛在解決方案

盡管 LLM-HAS 展現出廣闊的應用前景，但要成功落地，還必須在開發全周期中審慎應對其固有挑戰。主要涉及初始設置、人類數據、模型工程、后期部署和評估。

1.初始設置：仍聚焦于 agent 本身

目前關于 LLM-HAS 的大部分研究采用以 agent 為中心的視角，其中人類主要評估 agent 的輸出并提供糾正反饋，這種單向交互主導了現有范式，重新塑造這種動態關系存在巨大潛力。

若使 agent 能夠主動監控人類表現、識別低效環節并及時提供建議，將使 agent 的智能得到有效利用并減輕人類工作負荷。當 agent 轉變為指導性角色，提出替代策略、指出潛在風險并實時強化最佳實踐時，人類與 agent 的性能均會提升。研究團隊認為，轉向更以人為本或更平衡的 LLM-HAS 設計，是實現真正人-agent 協作的關鍵。

2.人類數據：人類反饋的差異性

人類在 LLM-HAS 中的反饋在角色、時機和表達方式上差異巨大。由于人類具有主觀性，受個性等因素影響，同一系統在不同人手中可能產生完全不同的結果。

另外，很多實驗中使用 LLM 模擬“偽人類”反饋。這類模擬數據往往無法真實反映人類行為差異，從而造成性能失真，削弱比較的有效性。

高質量人類數據的獲取、處理與使用，是構建對齊良好、協作高效的 LLM-HAS 的基礎。人類生成數據能夠幫助 agent 獲得更細致的理解，提升其協作能力，并確保其行為符合人類的偏好與價值觀。

3.模型工程：缺乏適應性與持續學習能力

在 LLM-HAS 的開發中，打造真正“適應性強、可持續學習”的 AI 合作者仍是核心難題。

目前主流方法將 LLM 視為靜態的預訓練工具，導致“未能有效吸收人類洞見”、“缺乏持續學習與知識保持能力”和“缺乏實時優化機制”等問題，

要充分釋放 LLM-HAS 的潛力，必須通過“人類反饋融合、終身學習機制和動態優化策略”的整合方式，突破上述瓶頸。

4.后期部署：尚未解決的安全脆弱性

部署后的 LLM-HAS 仍在安全性、魯棒性和責任歸屬方面面臨挑戰。目前業界往往更關注性能指標，然而在人機交互中的可靠性、隱私與安全等問題尚未得到充分研究。確保可靠的人機協作需要持續監控、嚴格監督以及整合負責任的人工智能實踐。

5.評估：評估方法不充分

當前針對 LLM-HAS 的評估體系存在根本缺陷。它們通常偏重 agent 的準確性與靜態測試，往往完全忽略人類協作者所承擔的真實負擔。

因此，我們迫切需要一套新的評估體系，從（1）任務效果與效率、（2）人機交互質量、（3）信任、透明度與可解釋性、（4）倫理對齊與安全性、（5）用戶體驗與認知負荷，多維度綜合量化人類與 agent 在協作中的“貢獻”與“成本”，從而真正實現高效、可靠且負責任的人-agent 協作。

更多內容，詳見論文。

整理：學術君

如需轉載或投稿，請直接在公眾號內留言