專知智能防務

2025年04月23日 23:33

美國國防部（DoD）制定本指南手冊，旨在支持人工智能（AI）系統及人工智能賦能系統（AIES）的開發測試與評估（DT&E）。其目標是通過技術可靠、基于共識的指導原則，應對人工智能技術帶來的獨特挑戰。本手冊為政府測試團隊規劃與執行人工智能賦能組件、應用及系統的開發測試與評估提供支持，助力在AIES開發與部署階段向決策者及利益相關方提供關鍵洞察。鑒于人工智能技術快速演進，本指南反映了測試與評估（T&E）領域的當前共識，未來將隨技術方法進步持續更新。

人工智能系統的測試面臨關鍵挑戰，傳統全面測試方法因以下因素難以適用于多數人工智能組件：

• 模型輸出在實踐中的固有不可預測性；

• 模型對輸入細微變化的敏感性；

• 某些人工智能模型的復雜性和不透明性；

• 參數空間的高維度性；

• 模型輸出對訓練數據集的復雜依賴性。

此外，被測系統的配置變更通常快速迭代，這為測試與評估（T&E）過程增添了另一層復雜性。上述因素使得測試團隊、評估人員與決策者難以通過具體測試結果推演通用結論，阻礙對人工智能組件及人工智能賦能系統（AIES）開展必要的技術評估，進而影響工程決策或采辦決策。

為應對這些挑戰，本指南手冊強調了以下新方法：

• 早期參與開發：在AIES開發初期引入T&E團隊，促使技術特征與任務需求對齊。鑒于機器學習模型開發的迭代性，早期介入至關重要——從開發之初持續優化需伴隨動態評估，確保部署系統符合作戰目標。

• 形式化方法增強：形式化方法通過數學嚴謹的技術手段補充傳統物理測試，實現人工智能系統更精確的驗證。這類方法有助于應對人工智能技術固有的復雜性與不確定性。

• 確保可測試性需求：DT&E團隊需與需求方加強協作，不僅確保系統需求原則上可測，還需構建可行的測試方案以支撐必要評估。AIES測試的復雜性進一步擴展了該職責范圍。

• 指導系統與作戰概念（CONEMP）開發：AIES開發的迭代性及其與作戰概念的深度耦合，要求DT&E的度量活動需協同指導系統與作戰概念開發方。在人類-系統融合、校準信任、涌現行為、人機協同等領域的測試，以及遵循負責任的人工智能政策，對避免高成本返工、確保系統設計與作戰需求一致至關重要。

本指南手冊最終旨在為美國國防部人工智能項目提供資源支持，強化對人工智能技術的有效測試與評估能力，確保其成功整合并服務于國防使命。

本指南手冊面向政府測試團隊，旨在指導其規劃與執行人工智能賦能系統（AIES）或系統中人工智能組件的開發測試與評估（DT&E），為采辦項目前期及項目執行中的DT&E活動提供聚焦性指南。

人工智能的引入對開發測試與評估（DT&E）帶來重大變革。機器學習（ML）方法與負責任人工智能（RAI）要求改變了系統及軟件生命周期的傳統模式，包括性能特征化與風險管理。測試與評估（T&E）需貫穿AIES開發全周期，以確保評估有效性與可信度。這種全周期滲透通常要求DT&E深度參與科技研發（S&T）、原型開發與實驗驗證。 本指南初始版本闡釋人工智能如何重塑DT&E，從DT&E活動與輸出以及人工智能驅動變革因素的雙重視角展開分析。手冊涵蓋機器學習數據集測試評估方法，包括數據集本身、基于其訓練的模型及集成系統的評估。同時簡要探討T&E團隊與其他實踐社群加強互動可能帶來的全局性效益——此類擴展性互動對DT&E團隊早期介入系統作戰概念（CONEMP）定義至關重要。

首版指南手冊的章節框架包括：

• 第1章引言，闡述手冊目標與范圍；

• 第2章AIES的DT&E概述，分析人工智能系統最新進展對性能評估、風險評估及系統工程支持的DT&E職責影響，概要性介紹人工智能（尤其是機器學習）引發的核心議題；

• 第3章AI驅動的T&E實踐變革，提出應對機器學習新型挑戰的專項T&E方法論；

• 第4章T&E社群的擴展性互動，探討T&E專業領域之外的組織與跨學科協作機制。

本指南后續版本將深化當前議題，包括生成式AI的測試評估挑戰及強化學習（RL）的完整論述（以應對國防部新興用例需求）。隨著國防部及其下屬機構在風險管理、安全工程及數據模型驗證、確認與認證（VV&A）領域的政策標準完善，未來版本將詳細闡釋T&E在相關領域的作用。

專知便捷查看

點擊左下角“閱讀原文”或復制以下網址查閱 https://www.zhuanzhi.ai/vip/e9b1ab0037de46522ad11dccbba71383 歡迎微信掃一掃加專知助手，咨詢服務：報告資料整理定制