編輯 | 蘿卜皮

相信大家已經聽過很多 AI 在生命科學領域的一次次革命性進展，甚至 2024 年的諾貝爾化學獎都頒給了計算生物學領域的科學家們。

譬如 Alphafold3、Evo2 等明星般的 AI 生物學工具，已經可以預測幾乎所有生命分子的結構和功能；科學家亦可用這些工具，根據實際用途來設計工程酶、疫苗、抗體、藥物……

等下，既然能設計「藥」，不是也可以設計「毒藥」？能設計 mRNA 疫苗，是不是也可以設計「病毒」？

近日，來自普林斯頓大學、斯坦福大學、浙江大學等機構的研究者發布了首個系統性評估 DNA 大模型「越獄攻擊」生物安全風險的框架——GeneBreaker。

他們發現，即使在訓練時已經去除了所有致病序列，當前最強的 Evo2-40B 模型仍可以被引導生成接近 SARS-CoV-2、HIV、脊髓灰質炎病毒等病原體的 DNA 序列，攻擊成功率高達 60%。

該研究以「GeneBreaker: Jailbreak Attacks against DNA Language Models with Pathogenicity Guidance」為題，于 2025 年 5 月 28 日發布在arXiv預印平臺。

論文鏈接：https://arxiv.org/pdf/2505.23839

DNA 編碼了幾乎所有生物體的遺傳指令，對 DNA 密碼的破譯推動了基因組學和合成生物學的突破性進展。近年來，DNA 基礎模型在設計合成功能性 DNA 序列，甚至設計全基因組方面均取得了成功。

然而，這些模型對「越獄」的敏感性如何，我們卻不得而知。科學家們開始擔心這些模型會不會產生有害序列（例如病原體或產毒基因）。

于是，科學家開發了首個系統性評估 DNA 基礎模型越獄漏洞的框架 GeneBreaker。

GeneBreaker 的越獄攻擊包含三個關鍵組件：

(a) 用于提示設計的 LLM 智能體，它使用帶有定制生物信息學提示的 ChatGPT-4o 來檢索與目標致病區域（例如 HIV-1 env 基因）具有高同源性的非致病 DNA 序列，從而協助類似 LLM 的上下文學習的越獄攻擊；

(b) 一種由 PathoLM（以致病性為中心的 DNA 模型）和平均對數概率啟發式方法指導的集束搜索策略，該策略迭代地對序列塊進行采樣和評分，以引導生成類似病原體的輸出，同時保持序列的一致性；

(c) 一個評估流程，該流程使用核苷酸/蛋白質 BLAST 將生成的序列與精選的人類病原體數據庫（JailbreakDNABench）進行比較，當序列與已知病原體（例如 SARS-CoV-2）匹配時，根據序列同一性標記「成功的越獄攻擊」。

圖示：GeneBreaker：破解 DNA 語言模型，生成人類病原體。（來源：論文）

為了驗證GeneBreaker，研究人員構建的了用于測試DNA模型「越獄」的基準數據集 JailbreakDNABench，它包含眾多與人類健康息息相關的各類病毒序列，包括 6 個主要類別：大 DNA 病毒，小 DNA 病毒，正鏈 RNA 病毒，負鏈 RNA 病毒，雙鏈病毒和腸道 RNA 病毒。

圖示：構建的 JailbreakDNABench。（a）病毒類別的分布；（b）顯示每種病毒中采樣的編碼DNA序列（CDS）的平均長度（每種病毒最多3個）。（來源：論文）

研究人員在 JailbreakDNABench 上對模型進行了評估。結果顯示，GeneBreaker 成功使 6 種病毒類別內的最新 Evo 系列模型發生了持續越獄，其中 Evo2-40B 的攻擊成功率高達 60%。

圖示：越獄嘗試的攻擊成功率。（來源：論文）

圖示：使用 Evo2 7B 對 GeneBreaker 進行進一步分析。（a）與病原體靶標的序列相似性與序列 Log P 之間的相關性；（b）平均越獄攻擊成功率與即時同源性之間的關系；（b）GeneBreaker 的消融研究。（來源：論文）

研究人員還使用「越獄」后的模型生成了近似SARS-CoV-2 刺突蛋白和HIV-1 包膜蛋白的兩種「病毒」DNA 序列。

AlphaFold3 的結構預測表明，生成的 DNA 序列不僅與 Sars-Cov-2 刺突蛋白具有較高的核苷酸和氨基酸相似性（例如，DNA 序列相似性為 92.77%，蛋白質序列相似性為 95.29%），而且生成的蛋白質在結構上與其天然對應物一致。

越獄生成的 HIV-1 包膜蛋白的預測結構與晶體結構的 RMSD 僅為 0.334，說明「越獄」非常成功。

圖示：GeneBreaker 使用 Evo2 40B 重新設計了 SARS-CoV-2 刺突蛋白和 HIV-1 包膜蛋白。（來源：論文）

研究人員還使用GeneBreaker（Evo2 40B）對 SARS-CoV-2刺突蛋白進行了進化建模研究。GeneBreaker 生成的序列涵蓋了廣泛的進化枝，這表明 DNA 語言模型能夠重現進化上不同的刺突蛋白變體。并且，可以根據比對序列計算得出完整刺突蛋白的氨基酸突變熵。

圖示：使用 GeneBreaker (Evo2 40B) 模擬 SARS-CoV-2 刺突蛋白的進化。 (a) 顯示檢索到的 SARS-CoV-2 變體，并按進化枝著色組織成系統發育樹。 (b) 顯示整個刺突蛋白的氨基酸突變熵。（來源：論文）

用普通話來解釋就是，理論上DNA 基礎模型能生成大量病毒的變異株。小編又腦補了一下可能發生的故事：醫生研發的治療藥物、疫苗會完全無法應對 AI 隨手生成的千變萬化的病毒毒株。

這時有些像小編一樣愛做夢的小伙伴可能會說：「太可怕了！這像極了《瘟疫公司》……」

小編提醒大家，不用過分擔心。剛剛的場景只是基于假設想象出來的，并沒有真的發生，小編只是嚇唬大家一下。并且，科學家做這項研究的目的就是呼吁大家在一切沒有變糟糕之前采取行動！

科學家通過 GeneBreaker 揭示 DNA 基礎模型生成致病序列的漏洞，正是為構建更健全的防御機制和安全架構提供了方向。

盡管生物學 AI 存在被惡意濫用和公眾信任的風險，但主動識別漏洞對確保生物模型安全性至關重要。

科學家呼吁應當通過加強跨學科合作和限制高風險信息傳播來降低風險，同時優先考慮倫理從而保障生物生成式 AI 的安全未來。

GeneBreaker 的相關數據已經上傳在github，感興趣的小伙伴可以去嘗試一下。

代碼獲取：https://github.com/zaixizhang/GeneBreaker

相關內容：

https://www.nature.com/articles/s41587-025-02650-8

https://www.science.org/content/article/built-safeguards-might-stop-ai-designing-bioweapons