工具學習將大模型與外部工具相結合，顯著增強了大模型解決復雜任務的能力。通過利用外部工具，大模型克服過時的預訓練數據的限制，使我們能夠訪問最新信息，與動態環境交互，并采取超出其能力范圍的行動。工具文檔作為關鍵信息，為大模型提供工具功能及其應用的信息，幫助大模型更高效地使用工具，成為連接大模型與外部工具的橋梁。

然而，現有工具主要是人工設計出來為人類服務的，并不是明確針對大模型的使用進行定制，工具文檔也并不符合大模型的理解。實際上專門為大模型編寫符合其特定要求的工具文檔是一項具有挑戰性的工作。

首先，原始的人工編寫的工具文檔通常是根據人類直覺創建的，存在不完整、冗余、不準確等問題，因為它主要為了迎合人類的理解并且通常缺乏語言模型理解所需的精度，阻礙了大模型有效使用工具。

其次，人工修改這些文檔，很難完全涵蓋工具使用的所有方面，因為辨別工具可以解決的問題和參數范圍通常需要大量的實踐經驗。通過手動完善來解決這些問題既耗時又費力且無法有效地擴展到大量工具。

此外，工具開發的動態特性進一步加劇了這個問題，因為工具的功能經常更新、棄用或擴展。在工具文檔中維護此類不斷發展的功能的最新且準確的表示成為一項艱巨的任務。

而中國人民大學高瓴人工智能學院研究團隊所提出的方法，通過大模型自我驅動的工具交互來完善工具文檔，不需要人工參與，因此可以擴展到大規模的工具文檔編寫更新中，批量構建符合大模型特定要求的工具文檔。

相關論文《從探索到掌握：使大模型通過自我驅動的交互掌握工具》（From Exploration to Mastery: Enabling LLMs to Master Tools via Self-Driven Interactions）已經被ICLR 2025接收 [1]。

研究團隊表示，人類通過重復的交互和實踐經驗來熟練地使用工具，盡管這些工具的功能不斷發展，但仍能夠保持對這些工具的最新理解。借鑒人類掌握工具的方式，他和所在團隊在一篇論文中提出了一種新穎的框架DRAFT。其能根據大模型與工具交互的結果和反饋，自動調整和優化工具文檔，旨在構建符合大模型理解的工具文檔。

更具體地說，DRAFT 實現了一種迭代試錯方法逐步改進工具文檔。DRAFT 協調了三個動態關聯的階段：經驗收集、從經驗中學習和工具文檔重寫，這三個階段共同促進了工具文檔的迭代改進過程。

首先，在經驗收集階段，通過設計的探索器模擬潛在的工具應用場景，創建探索實例并實際使用工具以收集工具使用經驗。這種方法類似于人類在無法理解說明書時探索新工具的使用方式。考慮到工具的使用通常涉及復雜的參數范圍、組合和潛在的錯誤類型，確保探索階段的多樣性以涵蓋廣泛的可能場景至關重要。因此他們設計了一種促進多樣性的探索策略：包括相似度約束和自我反思。在探索新實例時如果和已探索過的實例相似度高于閾值，探索器將進行自我反思分析相似度高的原因并探索該工具的不同方面。

接著，分析器將結合探索器的發現和使用反饋，從這些經驗中學習，對現有文檔進行分析，判斷工具文檔是否全面、簡潔、不包含無關信息以及文檔描述是否和工具返回結果相一致，從而為修改器提出文檔修改建議。

最后，修改器在匯集前兩個階段的經驗和修改建議的基礎上，專注于優化工具文檔，以提高其清晰度、準確性和可用性，確保其符合大模型的理解能力。同時該階段還為下一輪的經驗收集階段提供未來探索方向的建議。此外，鑒于不同工具在復雜性和大模型的理解難度上存在差異，他們引入了一種工具自適應終止機制，以自適應地決定何時停止對每個工具的修改。類似于不同的菜譜需要不同的專業水平，有些工具文檔優化速度可能會快于其他工具。當連續兩版文檔之間的改動很小，表明重寫器已充分使文檔與大模型的理解相符時，他們認為迭代過程已收斂。通過這種自適應停止機制，可以節省計算資源和時間其次可以防止不必要的修改帶來的過度擬合，通過同時使用BLEU分數和語義相似度，確保了同時對結構和語義進行評估，最終生成為大模型定制的高質量文檔。

研究團隊在RestBench和ToolBench這兩個廣泛使用的工具學習Benchmark上對DRAFT進行了實驗。實驗結果表明所有大模型在使用DRAFT修改過后的工具文檔時均能更好的利用工具，表現出強大的跨模型泛化能力。同時在ToolBench數據集上，使用DRAFT增強的GPT-4o-mini的性能甚至超過了不使用DRAFT的GPT-4o，這些結果都證明了DRAFT的有效性。

同時，由于現實世界中通常包含大量的工具，無法將所有工具都提供給大模型，需要先經過工具檢索從大量工具中篩選出有助于解決用戶當前問題的工具，該團隊此前提出過一種有效的工具檢索策略，極大提高了工具檢索的有效性[2],該團隊還發現了修改過后的工具文檔不僅能幫助大模型使用工具，還能提高工具檢索的性能。

此外，通過人工評估的方式還驗證了修改后的工具文檔不僅有利于大模型的理解，也能有助于人類對工具文檔的理解。再次驗證了方法的有效性。

該團隊還編寫過一篇關于工具學習的全面綜述論文，詳細介紹了將大模型和外部工具相結合的好處以及如何增強大模型的工具使用能力，對大模型工具學習感興趣的讀者可以通過該綜述了解更多信息[3]。

[1]https://arxiv.org/abs/2410.08197

[2]https://dl.acm.org/doi/abs/10.1145/3627673.3679847

[3]https://arxiv.org/abs/2405.17935