本文的共同第一作者為新加坡南洋理工大學博士后研究員李一鳴博士和浙江大學區塊鏈與數據安全全國重點實驗室博士生邵碩，通訊作者為李一鳴博士和浙江大學秦湛教授。其他作者包括：浙江大學博士生何宇，美國馬里蘭大學博士后研究員國珺峰博士，新加坡南洋理工大學張天威副教授、陶大程教授，美國 IBM 研究院首席研究科學家 Pin-Yu Chen 博士，德國亥姆霍茲信息安全中心主任 Michael Backes 教授，英國牛津大學 Philip Torr 教授，和浙江大學計算機科學與技術學院院長任奎教授。

你是否也曾擔心過，隨手發給 AI 助手的一份代碼或報告，會讓你成為下一個泄密新聞的主角？又或是你在網上發布的一張畫作，會被各種繪畫 AI 批量模仿并用于商業盈利？

這并非危言聳聽，而是每個 AI 用戶和從業者身上都可能發生的風險。2023 年，三星的一名員工被發現將公司的一份機密源碼泄露給了 ChatGPT；同年，意大利數據保護機構也因擔心當地居民的對話被用于境外 AI 訓練，一度叫停了對 ChatGPT 的使用。隨著生成式 AI 的全面普及，越來越多的用戶在日常工作生活中使用 AI、依賴 AI，這些真實的事件，為每一位身處 AI 浪潮的用戶和從業者敲響了警鐘。

這揭示了一種深刻的變革：在 AI 時代，尤其是生成式 AI 的時代，數據不再只是硬盤中的靜態文件，而是貫穿 AI 訓練、推理、生成的整個生命周期中的「流體」，傳統的數據保護方法（如文件加密、防火墻等）已無法應對 AI 場景下的數據保護挑戰，對于用戶和 AI 從業者而言，迫切需要一個全新的認知框架來全面認識生成式 AI 時代的數據保護問題，來應對數據保護挑戰。

在（生成式）人工智能時代，當我們談論數據保護時，我們在談論什么？為了回答這一問題，來自浙江大學區塊鏈與數據安全全國重點實驗室、南洋理工大學、馬里蘭大學、IBM、德國亥姆霍茲信息安全中心、牛津大學的研究者們近期發布了前瞻論文《Rethinking Data Protection in the (Generative) Artificial Intelligence Era》，旨在通過通俗易懂的語言，為廣大科技群體提供一個新穎的、系統性的視角看待人工智能時代下的數據保護問題。

• 論文題目：Rethinking Data Protection in the (Generative) Artificial Intelligence Era
• 論文鏈接：http://arxiv.org/abs/2507.03034

在生成式人工智能時代

哪些數據需要被保護？

在生成式人工智能時代，數據保護的范疇已遠不止傳統對靜態數據的保護，而是要保護貫穿于整個以模型為中心的生命周期中的各種不同類型的數據，包括訓練數據集、人工智能模型、部署集成數據、用戶輸入和人工智能合成內容。

• 訓練數據集：在模型開發的過程中，需要大量高質量的訓練數據集作為模型訓練的「燃料」。訓練數據集往往是從多個不同數據源進行收集的，因而極有可能包含隱私或版權數據。
• 人工智能模型：人工智能模型，包括它的架構設置和模型權重，在完成模型訓練后，也同樣變成了非常重要的數據資產。這些模型是對海量數據的一個壓縮和凝練，不僅本身具有重大的應用價值，預訓練的模型參數也同樣能夠幫助其他下游任務模型的快速開發，具備更廣泛的產業鏈價值。
• 部署集成數據：除了人工智能模型之外，在模型部署階段，當前的人工智能應用都會引入一些額外的輔助數據，用于提高 AI 模型在實際應用中的性能和及時性。兩個最突出的例子就是系統提示詞和外部數據庫。系統提示詞能夠為生成式人工智能模型提供一個統一的、事先定義的指令和上下文，用于引導模型生成更符合人類價值觀或者特定風格的回復；而外部數據庫被廣泛用于檢索增強生成當中，通過為生成式 AI 提供更新、更及時、更專業化的信息，在不需要修改模型的情況下，提高模型生成內容的準確性。
• 用戶輸入：在模型推理階段，用戶的輸入信息也是亟待保護的重要內容，出于隱私、安全和倫理等原因，保護這些提示數據至關重要。例如，從隱私角度來看，用戶查詢中包含的任何個人信息（如姓名、地址、健康詳情等）都應符合數據保護法律并滿足用戶對隱私的期望。商業機密同樣面臨風險 —— 例如，員工使用 AI 編程助手并輸入專有代碼作為提示。若 AI 服務保留此類輸入，可能導致商業秘密意外泄露。
• 人工智能合成內容（AIGC）：最后一種類型的數據是 AI 合成內容，隨著生成式 AI 能力的不斷提升，AI 合成內容已經達到了非常高的質量，與人類創造的內容差距越來越小，除此之外，AI 合成內容也能被用于創建大規模的合成數據集，對于 AI 模型的進一步開發等過程也有著重大的價值。

在生成式人工智能時代

我們應該如何保護數據？

為了系統性地建模 AI 時代的數據保護問題，本文提出了一個全新的數據保護分級體系，將數據保護的目標由強到弱的順序分為四類：數據不可用、數據隱私保護、數據可溯源、數據可刪除。該分類法旨在平衡「數據效用」與「數據控制」的關系，為復雜的數據保護問題提供一個結構化的解決方案，進而指導從業者和監管者根據實際情況尋找一個更好的效用 - 控制平衡。

• 等級 1. 數據不可用（Data Non-usability）：數據不可用指的是從根本上阻止數據被用于 AI 模型的訓練或者推理流程，即使攻擊者獲取了數據，這些數據也不會對模型的學習或者預測起到任何正面作用。數據不可用是最高級別的數據保護，通過犧牲數據效用來換取絕對的保護。
• 等級 2. 數據隱私保護（Data Privacy-preservation）：數據隱私保護旨在保護數據中的隱私部分，避免個人的隱私信息（如年齡、性別、地址等）在收集和模型推理的過程中被泄露。相比于等級 1，數據隱私保護保持了一定程度的數據可用性，但仍然是很強的數據保護層級。
• 等級 3. 數據可溯源（Data Traceability）：數據可溯源指的是當數據被用于 AI 模型開發和應用時，能提供追溯數據來源、數據使用記錄和數據修改的能力，這種能力使得監管者或數據所有者能夠審計 AI 應用中數據的使用，從而避免數據被不當使用。實現數據可溯源通常只需要對數據進行微小的修改甚至不修改，因此能夠很好地保持數據的可用性。
• 等級 4. 數據可刪除（Data Deletability）：數據可刪除指的是在 AI 應用中完全刪除一個數據或其影響的能力，這也是許多數據保護法律法規（如歐盟 GDPR）中規定的「可遺忘權」。數據可刪除使得開發者可以在數據不被需要或者被撤回許可的場景下以較低的開銷消除影響，數據可刪除為 AI 應用開發者提供了完整的數據可用性，但僅在數據使用的階段提供了較弱的數據保護。

現實意義與未來挑戰

本文提出的數據保護體系對理解現有技術和進一步推動當前的全球法規和應對未來的挑戰，也提供了極具價值的新興視角。

分析現有數據保護技術的設計理念：本文也介紹了針對上述四個保護級別的一系列設計理念和相應的代表性技術，為現有方法的應用和后續方法的設計提供了統一的視角和框架。

審視全球法規與治理：本文列舉了當前全球代表性國家和地區關于數據保護的法律法規，用分級模型的新 “標尺” 審視現有的治理方案，分析了不同地區治理的特點、偏好和不足。

數據保護的進一步探討和前沿挑戰：除了審視當前的治理態勢，本文進一步討論了數據保護的跨學科意義和指出了一些數據保護的前沿挑戰。

• 數據保護 vs. 數據安全：數據安全旨在保護數據的內容，避免潛在的有害、有偏見的內容。在 AI 時代，數據安全與數據保護更加緊密相連，一個保護上的漏洞可能引發嚴重的安全問題，反之亦然。
• AI 合成內容（AIGC）帶來的新挑戰：AI 合成內容的興起帶來了全新的治理難題，例如，許多國家和地區都因缺乏人類創作要素而拒絕授予 AI 合成內容版權，這就導致了 AI 合成內容的使用和監管存在灰色地帶。與將 AIGC 單純視為內容本身不同，本文的以模型為中心的數據保護視角突顯了更多復雜性。當 AIGC 本身被用作數據，例如用于訓練新模型的合成數據、知識蒸餾，或作為檢索增強生成系統的輸入時，其版權狀態變得更加復雜。用于訓練生成模型的原始數據的版權（或缺乏版權）是否會影響合成數據的版權狀態？如果模型從受版權保護的數據中提煉知識，那么生成的訓練模型（作為這些數據中所含信息的緊湊表示）或其生成的數據是否會繼承相關限制？這些爭議觸及數據版權的核心定義：數據版權是否僅與數據內容的「直接表達」相關，還是可以進一步延伸至模型隱含捕獲并可轉移的統計模式、風格和知識？人工智能模型（尤其是生成式模型）將受版權保護的信息「洗白」成看似新穎且不受保護的 AIGC 內容的潛在風險，也是是一個目前值得關注的重要問題。
• 跨國數據治理難題：AI 的產業鏈和系統本質是全球化的 —— 收集自一個國家的數據，可能會在另一個國家進行處理和標注，最后向全世界提供服務，這種跨國性的數據流動和各國標準不一的數據保護法規形成了尖銳沖突，從而可能會對全球化的開發者造成巨大的合規挑戰。
• 數據保護的倫理考量：AI 時代的所有數據保護都與基本的倫理考量相關聯，例如，數據隱私保護和數據可刪除體現的是個體對數據的自主權，數據可追溯則有助于降低偏見和提高公平性，而數據不可用是完全避免惡意利用數據的有效途徑。在追求技術創新和數據效用的同時，如何平衡和維護這些核心倫理價值，是所有 AI 從業者都需要思考的命題。