導語：2024年8月22日，《科學》（Science）雜志發表研究文章《人工智能與生物安全：構建治理框架勢在必行》（AI and biosecurity: The need for governance），探討了人工智能模型在生物安全領域的應用前景、潛在風險及治理框架。文章指出，通用型生物模型既能設計用于基因治療的無害病毒載體，也可能被用于設計能夠逃避疫苗免疫的強致病性病毒。并強調，僅靠科學家的自愿倫理協議，不足以保護科學研究中的人類志愿者，也無法確保實驗室安全，因此需要建立更為有效的監督機制。啟元洞見編譯文章主要內容，旨在為讀者了解人工智能與生物安全的前景及風險提供參考。

一、當前對人工智能模型在生物領域
應用的風險認識不足

科學界普遍認識到，某些研究涉及重大風險，必須在研究開始前通過正式的監督流程進行審慎的考量。然而，由于學術發表的壓力、模型開發人員缺乏生物安全風險專業知識，以及缺少標準化的風險評估方法，僅靠科研人員或科研機構自發地對新的生物模型進行風險評估是不夠的。

生物模型種類繁多，隨著通用人工智能工具和模型組合越來越多地應用于生物學領域。在龐大的模型體系中，目前僅有少數先進的生物模型具有被強制監管的可行性和必要性。監管初期應重點關注兩類模型：一類是耗費大量計算資源，在海量生物序列和/或結構數據上進行訓練的模型；另一類是雖使用相對較少的計算資源，但利用難以獲取的特殊敏感生物數據進行訓練的模型。

重點關注這些類別的模型，有助于監管人員更精準地評估出風險最高的模型，同時又不會過度限制學術自由，也能避免對大量人工智能研究進行不必要的管控，防止出現弊大于利的情況。然而，需要監管的模型范圍會隨著時間推移而改變。因此，鑒于技術發展和高風險后果的不斷變化，應賦予監管機構一定的靈活性，以便適時調整需要監管的生物模型范圍。

美國成立了新機構，專門負責前沿模型的安全評估設計工作，以此識別出那些具備引發大流行病等重大風險能力的模型。然而，目前尚難以精準預測這些模型在什么情況下會釋放這類“危險能力”。由于缺乏關于病原體特性的可靠數據，人工智能模型在執行一些危險性較高的任務時，例如增強病毒傳播能力，就會面臨重重困難。

若模型僅僅基于自然界現存病原體的分布數據進行訓練，那么它生成具有超越現有進化范疇特性的新型病原體的能力也會受到極大限制。而且，當前在新型病原體的迭代合成、操控、測試以及數據生成等方面，仍缺乏自動化、批量化生成的有效方法。但這些局限并不會成為阻礙該領域發展的永久性桎梏。隨著高通量數據生成技術與自主機器人技術的進步，未來或將實現針對特定任務的反饋循環，進而對超出自然病原體多樣性范圍的致病性和傳播特性展開深入探索。

此外，已有研究證明，人工智能模型具備推斷全新生物設計空間的能力。盡管當前的生物模型或許還無法在制造新型或增強型大流行病病原體方面發揮關鍵作用，但科學家已經能夠生成高質量的病原體特性數據，并且在不久的將來，還能夠以更高效率、更低成本實現數據產出。屆時，研究人員便可以利用這些數據訓練模型，使其具備推斷新型生物結構的能力。由此可見，建立行之有效的治理體系迫在眉睫。

二、建立生物安全監管規則需要平衡
主體責任與科研合作

在制定新規則時，政策制定者要把降低重大生物安全風險擺在首位，尤其是要防范利用先進技術大量制造新型或增強型病原體，進而引發重大疫情乃至全球性大流行病的風險。與此同時，也必須充分保障研究人員在模型開發、成果發表以及科研合作等方面的廣泛自主權。

為了實現這一目標，政策制定者應當制定精準且有針對性的規則，以此延續開放科學（Open Science）帶來的諸多益處，比如對公共衛生事業產生的積極影響。具體來說，應對符合先進生物模型標準的人工智能模型開展發布前評估。這類評估的核心目的，就是識別模型是否具備引發重大風險的潛在能力。負責設計評估流程的政府官員，可以借鑒長期以來在降低兩用性研究風險、防范病原體增強引發疫情等方面所積累的成熟建議。

專家們多年來在評估致病性相關研究工作中積累下來的經驗，同樣適用于人工智能模型的評估。比如，在評估過程中，應著重測試生物模型能否顯著提升病原體的傳播能力或毒性，是否會賦予病原體逃避免疫系統監測和醫療干預的能力。

鑒于實際測試模型設計或合成可能引發大流行病的新型病原體的能力本身存在風險，因此可以采用替代性測試方法。例如，評估人員可以測試未來人工智能驅動的機器人工具是否具備自主合成良性病原體的能力，以此來替代對合成危險病原體的評估。雖然當前的生物模型在這樣的測試中也許不會構成重大風險，但情況可能會隨著時間而發生變化。所以，有必要提前設定模型能力顯著提升的閾值，并且明確判定閾值達成的標準。

目前，許多人工智能評估方法已經實現了自動化與標準化，這些特性有利于快速、公正地開展評估工作。美國政府官員應當聯合機器學習、傳染病、倫理以及生物安全等領域的專家，并且與其他國家政府展開合作，共同設計一套能夠定期更新的測試體系，用于檢測現有及新型病原體家族的潛在風險。依據測試結果，官員們便可以在保障科研開放的基礎上，判斷是否需要限制模型訪問權限，或者要求采取應用程序編程接口等限制措施。

此外，監督政策還需要應對模型權重發布所帶來的特殊風險。模型權重決定了模型的運行機制，一旦發布，就會賦予第三方修改模型的權限。以Evo模型為例，其開發者為了防止模型被濫用，在訓練數據里剔除了感染真核生物宿主的病毒基因組，之后按照學術慣例發布了模型權重。然而，Evo模型權重發布短短幾周內，就有其他科學家利用感染人類的病毒數據對其進行了優化。盡管此次涉及的數據只是屬于良性病毒家族，但這一事件卻凸顯出一個事實，即對開源模型進行優化，往往比重新訓練一個大型新模型成本低很多。

由此可見，監督政策必須將模型發布后的優化行為納入考量范圍。正如《負責任的人工智能與生物設計價值觀》聲明簽署方所強調的，“對于已明確存在重大且尚未解決風險的人工智能系統，應采取限制訪問與分發的措施”。此外，美國政府有必要制定最佳實踐指南，規范與關注病原體特性相關的大規模新數據的負責任共享。在此過程中相關官員可以參考以往行之有效的數據政策經驗。

三、基因組合應當作為重點篩查對象
以應對人工智能生物模型風險

政府要求合成核酸提供商篩查購買行為，以此來防范高危核酸的不當流通，這一舉措固然關鍵且必要，但僅靠這一政策，還不足以全方位抵御人工智能生物模型帶來的風險。

有人認為，只要監管數字信息與物理世界的交互邊界，就能有效降低生物安全風險，理由是生物模型生成的數字信息本身并無危害。然而實際情況是，截至目前，尚無國家以法律形式強制要求對基因組合成進行篩查。美國白宮近期已發布指令，禁止接受聯邦資助的機構向未開展訂單篩查的供應商采購合成核酸。但遺憾的是，這些要求尚未覆蓋私營部門，而且其他國家也未采取類似舉措。即便這些要求能全面落實，惡意行為者繞開檢測、合成危險新型生物結構的風險依然存在。

事實上，利用化學方法合成短單鏈核酸序列的技術，早在四十多年前就已出現，如今在全球范圍內更是常規操作。這些寡核苷酸能夠進一步拼接成完整的病毒基因組，最終在哺乳動物細胞中激活，成為具有傳染性的病毒。

所以，雖然對核酸合成和病毒復活過程實施全球監管十分重要，但對于那些可能生成高風險病原體信息，或是顯著提升合成與復活過程自動化程度的先進生物模型，必須嚴格執行發布前審查。此外，政策制定者還應積極推動國際社會，就如何負責任地共享與高風險病原體特性相關的新數據和關鍵數據，達成統一的最佳實踐標準。

四、對人工智能生物模型的評估不應
受資助資金來源左右

當前，很多生物模型研究并非在美國政府資助的實驗室中開展。所以，對于可能引發重大風險的先進生物模型，不管其研發資金來自哪里，都應進行發布前評估。私營部門在生物模型研發領域能量巨大，谷歌DeepMind推出的AlphaFold系列蛋白質折疊模型就是很好的例子。隨著訓練生物模型所需計算資源呈指數級增長，預計未來會有更多頂尖生物模型出自工業界，這和人工智能研究領域的整體發展趨勢是一致的。鑒于此，政府制定的人工智能生物安全政策必須具備廣泛適用性，要把所有可能帶來高風險后果的先進生物模型都納入監管范疇，同時不能受其研發資金是否來自美國聯邦政府的限制。

五、全球各個國家要協同構建
國際治理路徑

盡管當前美國在生物模型開發領域占據重要地位，并為開展監管討論提供了頗具潛力的平臺，然而其他國家的研究人員也在開發世界領先的生物模型。正因如此，各國政府應當加強協作，共同制定統一規則，確保在任何地區開發的生物模型在發布前都能接受嚴格的安全評估。在英國人工智能安全峰會期間，多國簽署《布萊切利宣言》，共同認識到人工智能在生物技術、網絡安全等諸多領域存在潛在風險。正如《生物武器公約》在全球范圍內凝聚起反對生物武器的廣泛共識，國際社會在生物模型風險管控方面同樣具備合作基礎。

鑒于生物模型風險具有全球性特征，國際合作的范圍不能僅限于當前主要承擔生物模型開發責任的國家。政策制定者應當積極協調監管標準，防止出現監管套利現象，避免引發數字貿易沖突。與此同時，掌握最先進人工智能技術的國家的官員應優先考慮有效評估，即使該考量可能會在一定程度上影響國際監管的統一性。

六、結論

生物模型開發商在采納自愿承諾以降低風險方面已邁出了重要的一步。不過，就像以往引入強大的新型科研工具時一樣，研究人員及利益相關方應積極行動，主動與政府官員合作。通過雙方的緊密合作，確保這些承諾能夠切實落地實施，并推動政府制定科學合理的監督政策與法規，使生物模型潛力充分發揮且風險有效管控。

免責聲明：本文轉自啟元洞見。文章內容系原作者個人觀點，本公眾號編譯/轉載僅為分享、傳達不同觀點，如有任何異議，歡迎聯系我們！

轉自丨啟元洞見

研究所簡介

國際技術經濟研究所（IITE）成立于1985年11月，是隸屬于國務院發展研究中心的非營利性研究機構，主要職能是研究我國經濟、科技社會發展中的重大政策性、戰略性、前瞻性問題，跟蹤和分析世界科技、經濟發展態勢，為中央和有關部委提供決策咨詢服務?！叭蚣夹g地圖”為國際技術經濟研究所官方微信賬號，致力于向公眾傳遞前沿技術資訊和科技創新洞見。

地址：北京市海淀區小南莊20號樓A座

電話：010-82635522

微信：iite_er