今天凌晨，阿里巴巴開源了創新自主搜索AI Agent——WebAgent。

無論是學術研究、商業決策還是日常生活，搜索信息是我們從海量的網絡中獲取準確、有用的知識最佳途徑之一。但傳統的信息檢索系統通常只能提供淺層次的搜索結果，難以滿足復雜的用戶需求。

而WebAgent具備端到端的自主信息檢索與多步推理能力，就像人類一樣在網絡環境中主動感知、決策和行動，例如，當用戶想了解某個特定領域的最新研究成果時，WebAgent能夠主動搜索多個學術數據庫，篩選出最相關的文獻，并根據用戶的需求進行深入分析和總結。

此外，WebAgent不僅能識別文獻中的關鍵信息，還能通過多步推理將不同文獻中的觀點進行整合，最終為用戶提供一份全面且精準的研究報告。

開源地址：https://github.com/Alibaba-NLP/WebAgent

WebDancer的框架一共由4大塊組成，從數據構建到訓練優化，逐步打造出能夠自主完成復雜信息檢索任務的智能體。

瀏覽數據構建是整個框架的起點。在現實世界中，高質量的訓練數據是智能體能夠有效學習和泛化的關鍵。WebDancer通過兩種創新的數據合成方法來解決傳統數據集的局限性。

第一種方法是CRAWLQA，它通過爬取網頁信息來構建復雜的QA對。這一過程模擬了人類瀏覽網頁的行為，從知名網站的根頁面開始，遞歸地訪問子頁面，收集豐富的信息。

隨后，利用強大模型對這些信息進行處理，生成具有深度和多樣性的QA對。這些QA對不僅涵蓋了多種問題類型，還通過多跳推理和復雜的目標分解，增加了任務的復雜性。

第二種方法是E2HQA，通過迭代增強的方式，將簡單的QA對逐步轉化為復雜的多步問題。這一過程從簡單的事實性問題出發，通過逐步引入新的信息和子問題，最終構建出需要多步推理才能解決的復雜問題。這兩種數據構建方法為WebDancer提供了豐富的訓練素材，使其能夠在多樣化的任務中進行學習和優化。

接下來是軌跡采樣階段。在這個階段，WebDancer基于ReAct框架，通過拒絕采樣技術生成高質量的軌跡。ReAct框架的核心在于將推理與執行緊密結合，形成一個循環的交互過程。在這一過程中，智能體通過生成自由形式的思考內容和結構化的行動指令，與外部環境進行交互并接收反饋。

為了確保生成的軌跡既有效又連貫，WebDancer采用了短推理和長推理兩種方法。短推理利用大模型直接生成簡潔的推理路徑，而長推理則通過推理模型逐步構建復雜的推理過程。

這兩種策略生成的軌跡經過嚴格的過濾，以確保其質量和相關性。過濾過程包括有效性檢查、正確性驗證和質量評估三個階段，確保最終保留的軌跡能夠為智能體的學習提供高質量的指導。

在數據準備完成后，WebDancer進入監督微調（SFT）階段。這一階段的目標是通過高質量的軌跡數據對智能體進行初始化訓練，使其能夠適應信息檢索任務的格式和環境要求。

在SFT過程中，WebDancer將軌跡中的思考、行動和觀察內容分別標記，并計算損失函數，以優化模型的參數。為了提高模型的魯棒性，WebDancer在計算損失時排除了外部反饋的影響，確保模型能夠專注于自主決策過程。這一階段的訓練為智能體提供了強大的初始能力，使其能夠在后續的強化學習階段更好地適應復雜的任務環境。

強化學習（RL）階段是WebDancer框架的關鍵環節。在這一階段，智能體通過與環境的交互，學習如何在復雜的任務中做出最優決策。WebDancer采用了DAPO算法，這是一種專門針對智能體訓練設計的強化學習算法。

DAPO算法通過動態采樣機制，有效利用未充分利用的QA對，提高數據效率和策略的魯棒性。在RL過程中，智能體通過多次嘗試和反饋，逐步優化其決策策略，最終實現高效的多步推理和信息檢索能力。

本文素材來源阿里巴巴，如有侵權請聯系刪除

報告下載

大 佬觀點分享

關于RPA、AI、企業數字化轉型

(點擊文字即可閱讀)

| |

| | |

| | |

| | |

| |

行業知識交流分享，結識擴展人脈圈層

公眾號后臺回復【RPA】或者【流程挖掘】

可受邀加入相關的交流群