2025年3月，新美國(guó)安全中心（CNAS）發(fā)布《美國(guó)國(guó)防部推進(jìn)人工智能和自主系統(tǒng)測(cè)試和評(píng)估的戰(zhàn)略動(dòng)向》（Advancing Department of Defense Test and Evaluation for AI and Autonomous Systems）報(bào)告，報(bào)告探討了美國(guó)國(guó)防部測(cè)試與評(píng)估體系的傳統(tǒng)流程難以應(yīng)對(duì)人工智能系統(tǒng)的復(fù)雜性與動(dòng)態(tài)性，亟需轉(zhuǎn)型以適應(yīng)新型風(fēng)險(xiǎn)。啟元洞見編譯文章主要內(nèi)容，旨在為讀者了解人工智能賦能的軍事測(cè)試評(píng)估體系提供參考。

一、測(cè)試與評(píng)估的目的

美國(guó)國(guó)防部（DoD）的測(cè)試與評(píng)估（T&E）體系是一個(gè)龐大、涉及數(shù)十億美元的系統(tǒng)，涵蓋軍種內(nèi)部及聯(lián)合組件。為了理解人工智能和自主系統(tǒng)對(duì)現(xiàn)有基礎(chǔ)設(shè)施、人員與流程的影響，必須首先認(rèn)識(shí)到T&E體系的價(jià)值。T&E是軍事系統(tǒng)開發(fā)中至關(guān)重要的環(huán)節(jié)，旨在確認(rèn)和提升系統(tǒng)的作戰(zhàn)效能、適用性、生存能力與殺傷力。

T&E的價(jià)值類似于預(yù)防醫(yī)學(xué)，其成效常常體現(xiàn)于避免了事故的發(fā)生，因此需要借助反事實(shí)推理來加以評(píng)估和理解：如果沒有廣泛的T&E工作，系統(tǒng)性能可能會(huì)受到怎樣的影響。一種衡量T&E有效性的方式是比較具有不同安全程序嚴(yán)謹(jǐn)程度的系統(tǒng)。另一衡量方式是漏洞（程序錯(cuò)誤）的發(fā)現(xiàn)與修復(fù)情況。目前T&E流程大多是線性化的，這種方式難以持續(xù)評(píng)估平臺(tái)中頻繁變更的代碼庫(kù)的安全性與有效性，尤其是對(duì)于采用機(jī)器學(xué)習(xí)的系統(tǒng)。為了理解當(dāng)前T&E流程需要如何轉(zhuǎn)型，本報(bào)告將探討目前針對(duì)傳統(tǒng)硬件與非人工智能軟件所采用的T&E步驟。

二、傳統(tǒng)的硬件與軟件測(cè)試評(píng)估流程

通常，測(cè)試與評(píng)估（T&E）規(guī)劃在系統(tǒng)開發(fā)的早期就開始，并持續(xù)到初始部署階段。新型武器系統(tǒng)需要經(jīng)歷兩個(gè)主要階段的測(cè)試：發(fā)展性測(cè)試（Developmental Test， DT）和作戰(zhàn)性測(cè)試（Operational Test， OT）。

（一）發(fā)展性測(cè)試（DT）

通常在實(shí)驗(yàn)室等封閉環(huán)境中進(jìn)行，使開發(fā)者和測(cè)試人員能在控制條件下評(píng)估系統(tǒng)性能。DT收集和評(píng)估系統(tǒng)的能力與風(fēng)險(xiǎn)，為采辦生命周期內(nèi)的決策提供依據(jù)。DT可由承包商或政府人員監(jiān)管，評(píng)估內(nèi)容包括關(guān)鍵性能參數(shù)（KPP）和關(guān)鍵系統(tǒng)屬性（KSA）等。

（二）作戰(zhàn)性測(cè)試（OT）

將系統(tǒng)置于預(yù)定作戰(zhàn)環(huán)境中，包括逼真的作戰(zhàn)條件和威脅環(huán)境。OT通常由作戰(zhàn)測(cè)試機(jī)構(gòu)實(shí)施，這些機(jī)構(gòu)隸屬于相應(yīng)軍種或美國(guó)國(guó)防部相關(guān)部門，擁有技術(shù)測(cè)試人員和作戰(zhàn)人員。值得注意的是，這通常是系統(tǒng)首次與現(xiàn)役操作人員進(jìn)行大規(guī)模接觸。理論上DT和OT可以同時(shí)進(jìn)行，但在實(shí)踐中常是先后順序進(jìn)行，只有在DT評(píng)估充分的前提下，才會(huì)授權(quán)進(jìn)入OT階段。

雖然這兩個(gè)階段側(cè)重于系統(tǒng)的不同方面，但美國(guó)國(guó)防部長(zhǎng)期以來都認(rèn)識(shí)到測(cè)試階段之間信息共享的重要性以提升效率。然而，T&E社區(qū)普遍認(rèn)為實(shí)際中缺乏真正的階段間協(xié)作。合理情況下，前期測(cè)試數(shù)據(jù)可避免重復(fù)實(shí)驗(yàn)，從而釋放測(cè)試資源、降低成本、縮短項(xiàng)目周期。但專家指出，數(shù)據(jù)共享在實(shí)際中仍然有限，尤其是在由承包商主導(dǎo)DT測(cè)試時(shí)更為明顯。出于知識(shí)產(chǎn)權(quán)保護(hù)的考慮，承包商往往難以充分共享數(shù)據(jù)，因其可能泄露系統(tǒng)設(shè)計(jì)的技術(shù)細(xì)節(jié)。

隨著軟件在物理平臺(tái)上的廣泛應(yīng)用，軟件測(cè)試方法也日趨嚴(yán)謹(jǐn)和復(fù)雜。針對(duì)依賴軟件驅(qū)動(dòng)的物理系統(tǒng)，建模與仿真（Modeling and Simulation， M&S）在過去幾十年中越來越重要，成為系統(tǒng)開發(fā)中的一項(xiàng)關(guān)鍵工具，用于提前發(fā)現(xiàn)問題并減少實(shí)測(cè)需求。M&S的應(yīng)用領(lǐng)域非常廣泛，涵蓋汽車、航空航天、物流、制造等行業(yè)。自1970年代起，美國(guó)國(guó)防部便投資開發(fā)網(wǎng)絡(luò)化仿真工具，最初主要用于訓(xùn)練，也有人提出其未來可用于作戰(zhàn)和T&E。盡管這些作戰(zhàn)用途尚未充分實(shí)現(xiàn)，但M&S在美國(guó)國(guó)防部系統(tǒng)開發(fā)中的地位持續(xù)上升。

盡管傳統(tǒng)T&E實(shí)踐會(huì)隨時(shí)代變化（如M&S的興起），整體流程仍大體保持一致。要理解人工智能系統(tǒng)對(duì)這一流程造成的壓力，必須考慮美國(guó)國(guó)防部對(duì)人工智能系統(tǒng)所施加的一系列額外政策限制。盡管所有測(cè)試工作的主要目標(biāo)仍然集中于關(guān)鍵特性，但美國(guó)國(guó)防部已經(jīng)日益聚焦于適用于人工智能系統(tǒng)的特定原則和政策。

三、美國(guó)國(guó)防部人工智能政策的演變

及其對(duì)測(cè)試與評(píng)估的影響

在過去幾年中，美國(guó)國(guó)防部逐漸認(rèn)識(shí)到，傳統(tǒng)的系統(tǒng)開發(fā)和測(cè)試方法不再完全適用于人工智能系統(tǒng)。同時(shí)，美國(guó)國(guó)防部也意識(shí)到這些系統(tǒng)帶來了新的風(fēng)險(xiǎn)，并需要一個(gè)新的框架來理解其負(fù)責(zé)任的應(yīng)用，因此制定了一系列戰(zhàn)略和高層指導(dǎo)方針，統(tǒng)稱為“負(fù)責(zé)任人工智能（Responsible AI，RAI）”。

自2018年《美國(guó)國(guó)防部人工智能戰(zhàn)略》（DoD Artificial Intelligence Strategy）（以下簡(jiǎn)稱“2018年人工智能戰(zhàn)略”）發(fā)布以來，美國(guó)國(guó)防部日益推進(jìn)一項(xiàng)以倫理為基礎(chǔ)的人工智能政策，強(qiáng)調(diào)在人工智能系統(tǒng)的開發(fā)和部署過程中堅(jiān)持倫理原則。自2019年美國(guó)國(guó)防創(chuàng)新委員會(huì)發(fā)布的一份報(bào)告開始，美國(guó)國(guó)防部確立了五項(xiàng)關(guān)鍵原則來界定其對(duì)RAI的框架，推動(dòng)系統(tǒng)遵循以下要求：

（一）負(fù)責(zé)任（Responsible）

美國(guó)國(guó)防部人員在開發(fā)、部署和使用人工智能能力時(shí)，將保持應(yīng)有的判斷力和謹(jǐn)慎，并對(duì)這些過程承擔(dān)責(zé)任。

（二）公平（Equitable）

美國(guó)國(guó)防部將采取有意的措施，盡量減少人工智能能力中可能存在的非預(yù)期偏見。

（三）可追溯（Traceable）

美國(guó)國(guó)防部的人工智能能力應(yīng)以透明、可審計(jì)的方法進(jìn)行開發(fā)和部署，確保相關(guān)人員充分理解相關(guān)技術(shù)、開發(fā)流程與運(yùn)作方法，涵蓋數(shù)據(jù)來源、設(shè)計(jì)流程和文檔記錄。

（四）可靠（Reliable）

美國(guó)國(guó)防部的人工智能能力必須有明確且界定清晰的用途，其安全性、可靠性和有效性必須在這些界定范圍內(nèi)接受測(cè)試和驗(yàn)證。

（五）可治理（Governable）

美國(guó)國(guó)防部將在人工智能系統(tǒng)設(shè)計(jì)和工程中融入控制機(jī)制，確保其完成預(yù)期功能的同時(shí)，具備識(shí)別和避免非預(yù)期后果的能力，并能在出現(xiàn)異常行為時(shí)中止或關(guān)閉部署的系統(tǒng)。

推動(dòng)RAI發(fā)展的一項(xiàng)根本性挑戰(zhàn)在于：如何界定“人工智能”本身。鑒于歷史上許多系統(tǒng)曾被稱為“人工智能”，再加上如今機(jī)器學(xué)習(xí)等前沿技術(shù)的發(fā)展，不少測(cè)試評(píng)估專家及國(guó)防部人員都呼吁制定統(tǒng)一術(shù)語，期望通過術(shù)語標(biāo)準(zhǔn)化來提升各專業(yè)群體間的溝通效率。這種努力不僅涉及“人工智能”的定義，也涉及RAI中的核心概念，如“公平性”“責(zé)任性”等。

然而，許多測(cè)試評(píng)估專家指出，這些原則往往缺乏足夠的技術(shù)嚴(yán)謹(jǐn)性，難以與具體方法或指標(biāo)相對(duì)應(yīng)，因而無法被轉(zhuǎn)化為可測(cè)試的系統(tǒng)需求，除非進(jìn)一步明確其在具體作戰(zhàn)情境中的應(yīng)用方式。

四、人工智能驅(qū)動(dòng)與自主系統(tǒng)的新穎性

盡管美國(guó)國(guó)防部（DoD）數(shù)十年來一直在部署具備人工智能功能的系統(tǒng)，但近年來機(jī)器學(xué)習(xí)（ML）的進(jìn)步帶來了新的挑戰(zhàn)，特別是在確保系統(tǒng)安全性和有效性方面。這些挑戰(zhàn)必須在建立制度性知識(shí)體系時(shí)加以應(yīng)對(duì)，以便為制定和擴(kuò)展有效的測(cè)試與評(píng)估（T&E）程序打下基礎(chǔ)。

過去一代的人工智能系統(tǒng)主要依賴編碼規(guī)則和專家知識(shí)，使開發(fā)者和測(cè)試人員能夠?qū)ο到y(tǒng)在不同條件下的表現(xiàn)有一定的可預(yù)測(cè)性。盡管在實(shí)踐中很難對(duì)這些系統(tǒng)在所有條件下進(jìn)行詳盡測(cè)試，但其決策邏輯可以通過諸如決策樹等工具加以捕捉，展現(xiàn)系統(tǒng)如何逐步評(píng)估環(huán)境并選擇行動(dòng)。

這種決策樹式邏輯相較于現(xiàn)代機(jī)器學(xué)習(xí)系統(tǒng)更容易驗(yàn)證，而現(xiàn)代ML系統(tǒng)則是通過訓(xùn)練數(shù)據(jù)學(xué)習(xí)復(fù)雜而模糊的統(tǒng)計(jì)關(guān)系，本質(zhì)上由大量數(shù)值參數(shù)組成，這些參數(shù)經(jīng)過訓(xùn)練調(diào)優(yōu)決定系統(tǒng)輸出與行為，而非通過可由開發(fā)人員和測(cè)試人員直接檢查的明確代碼來實(shí)現(xiàn)。可以將其類比于線性回歸：雖然線性回歸只涉及兩個(gè)參數(shù)（斜率與截距），但大型ML模型可能擁有數(shù)十億個(gè)參數(shù)。

這些大型、自動(dòng)化訓(xùn)練的系統(tǒng)是人工智能發(fā)展的一個(gè)例證，但人工智能涵蓋的軟件工程技術(shù)遠(yuǎn)不止如此。為整個(gè)美國(guó)國(guó)防部制定一個(gè)統(tǒng)一的人工智能定義既不可行，也無法切中當(dāng)今新型人工智能系統(tǒng)所帶來的核心問題。相比之下，更好的方式是關(guān)注技術(shù)文獻(xiàn)與專家所強(qiáng)調(diào)的新人工智能系統(tǒng)特征，這些特征構(gòu)成了測(cè)試與部署面臨的新挑戰(zhàn)。

（一）動(dòng)態(tài)性

系統(tǒng)在部署后可能會(huì)通過新數(shù)據(jù)不斷學(xué)習(xí)和演化，或?qū)Σ僮鳝h(huán)境高度敏感，并表現(xiàn)出不可預(yù)測(cè)的變化。

（二）輸入/輸出關(guān)系的復(fù)雜性

與傳統(tǒng)軟件不同，這類系統(tǒng)不再有編碼的輸入輸出映射，而是通過統(tǒng)計(jì)分布進(jìn)行關(guān)聯(lián)。

（三）可解釋性有限

系統(tǒng)缺乏傳統(tǒng)軟硬件所具備的可解釋性，其內(nèi)部推理或統(tǒng)計(jì)關(guān)系難以被清晰審查或理解。

（四）自主性

系統(tǒng)以極少甚至無需人為干預(yù)的方式執(zhí)行任務(wù)，或其運(yùn)行速度快到難以進(jìn)行實(shí)時(shí)監(jiān)督。

（五）對(duì)數(shù)據(jù)來源與質(zhì)量的敏感性

訓(xùn)練數(shù)據(jù)若選擇不當(dāng)或結(jié)構(gòu)混亂，系統(tǒng)在目標(biāo)任務(wù)中的表現(xiàn)也將受到嚴(yán)重影響。此外，數(shù)據(jù)來源也至關(guān)重要，已有研究表明惡意行為者可通過“數(shù)據(jù)投毒”攻擊（如在數(shù)據(jù)集中植入低質(zhì)量數(shù)據(jù)）來削弱系統(tǒng)性能。

（六）對(duì)“規(guī)避”行為的敏感性

人工智能系統(tǒng)，尤其是強(qiáng)化學(xué)習(xí)和機(jī)器學(xué)習(xí)模型，在測(cè)試評(píng)估中面臨“規(guī)避”行為、缺乏可操作性指導(dǎo)等挑戰(zhàn)，亟需制度性知識(shí)積累、自適應(yīng)測(cè)試方法與數(shù)字孿生等技術(shù)支持。

五、結(jié)論與建議

相比于過去，人工智能和自主系統(tǒng)的能力有了顯著增長(zhǎng)，尤其是近年來先進(jìn)機(jī)器學(xué)習(xí)系統(tǒng)的快速發(fā)展，極大地改變了人們對(duì)未來戰(zhàn)場(chǎng)的理解。發(fā)展和部署這些系統(tǒng)不僅需要重新審視基本作戰(zhàn)理念，還要求對(duì)整個(gè)系統(tǒng)開發(fā)流程進(jìn)行再調(diào)整。

隨著人工智能和自主系統(tǒng)技術(shù)的快速發(fā)展，現(xiàn)有的測(cè)試與評(píng)估（T&E）方法和流程必須做出相應(yīng)調(diào)整。測(cè)試人員、工程師與作戰(zhàn)人員的專業(yè)經(jīng)驗(yàn)，在系統(tǒng)平臺(tái)早期獲取階段的重要性日益凸顯。傳統(tǒng)依賴于物理基礎(chǔ)設(shè)施和試驗(yàn)場(chǎng)地的方式，正在被虛擬基礎(chǔ)設(shè)施和高性能計(jì)算能力所替代，后者在系統(tǒng)開發(fā)中的作用日益關(guān)鍵。

同時(shí)，軟件開發(fā)呈現(xiàn)出更強(qiáng)的迭代性。這種變化迫使人們重新審視傳統(tǒng)的線性系統(tǒng)工程流程，轉(zhuǎn)向更加靈活、適應(yīng)性強(qiáng)的系統(tǒng)開發(fā)方法。這不僅要求大量資金投入，還需引入更多具備相關(guān)技能的技術(shù)人才，并對(duì)現(xiàn)有人員結(jié)構(gòu)進(jìn)行調(diào)整，以實(shí)現(xiàn)系統(tǒng)能力與作戰(zhàn)需求的更早、更頻繁的評(píng)估。

構(gòu)建安全、可靠且高效的人工智能與自主系統(tǒng)，并非任何單一采辦或作戰(zhàn)部門的專屬任務(wù)，而是貫穿整個(gè)系統(tǒng)生命周期的集體責(zé)任。這些發(fā)現(xiàn)與建議面向多個(gè)相互協(xié)作的群體，包括工程師、設(shè)計(jì)人員、測(cè)試團(tuán)隊(duì)和作戰(zhàn)人員，需共同推進(jìn)系統(tǒng)能力的形成與優(yōu)化。

免責(zé)聲明：本文轉(zhuǎn)自啟元洞見。文章內(nèi)容系原作者個(gè)人觀點(diǎn)，本公眾號(hào)編譯/轉(zhuǎn)載僅為分享、傳達(dá)不同觀點(diǎn)，如有任何異議，歡迎聯(lián)系我們！

轉(zhuǎn)自丨啟元洞見

研究所簡(jiǎn)介

國(guó)際技術(shù)經(jīng)濟(jì)研究所（IITE）成立于1985年11月，是隸屬于國(guó)務(wù)院發(fā)展研究中心的非營(yíng)利性研究機(jī)構(gòu)，主要職能是研究我國(guó)經(jīng)濟(jì)、科技社會(huì)發(fā)展中的重大政策性、戰(zhàn)略性、前瞻性問題，跟蹤和分析世界科技、經(jīng)濟(jì)發(fā)展態(tài)勢(shì)，為中央和有關(guān)部委提供決策咨詢服務(wù)。“全球技術(shù)地圖”為國(guó)際技術(shù)經(jīng)濟(jì)研究所官方微信賬號(hào)，致力于向公眾傳遞前沿技術(shù)資訊和科技創(chuàng)新洞見。

地址：北京市海淀區(qū)小南莊20號(hào)樓A座

電話：010-82635522

微信：iite_er