新智元報道

編輯：LRST

【新智元導讀】華南理工大學計算機學院AI安全團隊長期深耕于人工智能安全，近期聯合約翰霍普金斯大學和加州大學圣地亞戈分校聚焦于聯邦學習中防范惡意投毒攻擊，產出工作連續發表于AI頂刊TPAMI 2025和網絡安全頂刊TIFS 2025。

針對聯邦學習中的后門攻擊問題，華南理工大學計算機學院AI安全團隊與國際高校合作，提出了兩種創新防御方法FedID和Scope。

FedID通過多種度量標準和動態加權檢測惡意梯度，有效應對復雜攻擊和非IID數據分布；Scope則通過逐維歸一化和差異化縮放，揭示攻擊梯度中的后門維度，顯著提升防御效果。

論文1：TPAMI 2025

論文題目：FedID: Enhancing Federated Learning Security Through Dynamic Identification（第一作者：黃思銓；通訊作者：高英）

論文鏈接：https://ieeexplore.ieee.org/document/11045524

代碼鏈接：https://github.com/siquanhuang/Multi-metrics_against_backdoors_in_FL

摘要

聯邦學習（Federated Learning，FL）因其去中心化和保護隱私的特性而備受關注，但其也面臨后門攻擊的脆弱性，這類攻擊旨在操控模型在攻擊者選定輸入上的行為。

現有大多數基于統計差異的防御方法，僅在特定攻擊下有效。當惡意梯度與正常梯度高度相似，或者數據呈現非獨立同分布（non-IID）特征時，這一局限性尤為顯著，使得這些防御手段難以識別隱藏性較強的攻擊。

研究人員重新審視了基于距離的防御方法，并揭示了兩個關鍵洞見：第一，在高維空間中，歐幾里得距離失去了意義；第二，單一的度量標準無法識別具有多樣化特征的惡意梯度。

為解決這些問題，研究人員提出了FedID，一種簡單而有效的策略，利用多種度量標準并通過動態加權實現自適應的后門檢測。

此外，研究人員還引入了改進的z-score方法，用于選擇用于聚合的梯度。值得注意的是，FedID不依賴于關于攻擊設置或數據分布的預設假設，并且對正常性能的影響極小。

研究人員在多個數據集和攻擊場景下進行了廣泛實驗，以評估其有效性。FedID在所有情況下均優于以往防御方法，尤其在復雜的邊緣情況（Edge-case PGD）下表現突出。

實驗結果表明，FedID在面對旨在突破防御機制的自適應攻擊時仍具有強大的魯棒性，并能適應各種非IID數據分布，而不會影響模型在正常任務上的表現。

背景

聯邦學習（FL）是一種在保護客戶數據隱私安全的同時，能夠高效訓練深度學習模型的分布式框架。但也由于其對隱私的考慮，導致其容易受到數據投毒的攻擊，尤其是隱蔽性更強的后門攻擊（Backdoor attack）。

為了提高FL的魯棒性，人們提出了多種防御方法，例如基于評分的方法，這種方法利用特定的指標來區分惡意梯度和良性梯度。盡管這種方法對某些后門很有效，但研究人員發現，精心設計的攻擊，其梯度與良性梯度無法區分，可以輕松繞過這些防御措施。

基于差分隱私（DP）的方法是在觀察到傳統上用來對付差分攻擊的 DP 方法也能有效對付后門的基礎上發展起來的。通過向全局模型添加高斯噪聲，這些方法可以淡化潛在中毒模型更新的影響。

令人驚訝的是，基于DP的方法在抵御這種高級后門方面表現出很強的能力。盡管DP有能力抵御隱形后門，但它所增加的噪聲會顯著降低整體性能和收斂速度。

相比之下，基于距離的方法只匯總良性梯度，對全局模型的影響較小。

因此，一個自然而然的問題出現了：能否在不犧牲 FL 模型性能的情況下防御隱蔽后門？

為了實現這一目標，研究人員轉向了不犧牲良性性能的基于距離的方法，并提出了以下研究問題：如何才能成功利用距離度量來區分敵意更新和良性更新？

于是，該論文聚焦于以下兩個問題：

1. 由于存在著維度詛咒效應 ，歐氏距離（即L2距離）在高維空間（神經網絡）中失去度量意義；

2. 單一度量僅對特定攻擊有效，并需要對惡意攻擊梯度有詳細假設。

方法

曼哈頓距離緩解維度詛咒

Theorem1 為維度詛咒效應的公式，隨著維度d的上升，距離指標將會逐漸喪失意義。

雖然無法徹底解決維度詛咒帶來的問題，根據理論證明，曼哈頓距離在高維空間中的識別能力要遠遠好于常用的歐式距離，可以緩解維度詛咒效應。

方法框架

即便曼哈頓距離有著更好的識別效力，但是研究人員也不認為在識別后門攻擊的時候曼哈頓就能完全替代歐氏距離。

除此以外，先前的工作已經表明[3]，有的后門攻擊會在歐氏距離上表現區分度，有的則會在余弦相似度（Cos 距離）上表現差異。

于是研究人員決定采用曼哈頓、歐氏和 Cos 距離共同去識別后門，如上圖所示。

在定義好了識別梯度時的指標之后，在研究人員面前也有兩個障礙：

1. 三種距離有著不同的尺度，由于每個度量都是相關的，因此需要一種新的正則化方法，而不是通常的按最大值進行歸一化；

2. 不同的數據分布（如不同程度的非 IID）會使惡意客戶端和良性客戶端的梯度不同。

因此，需要動態加權來應對各種環境和攻擊，以實現通用防御。

為了解決上述問題，研究人員提出了一種通過濃度矩陣（協方差矩陣的逆）進行白化的方法如上圖所示，其中x為客戶端距離特征向量，Σ為協方差矩陣，其能夠根據每個客戶端上三個指標特征的分布動態地決定每個指標的權重，以適應不同的數據分布情況和攻擊策略。

在得到了客戶端的距離得分δ后，便可以根據該分數聚合更優梯度。通過這種機制，方法不僅能夠容納三種指標，同時也能根據需要容納更多的指標去分析各個梯度。

論文2：TIFS 2025

論文題目：Scope: On Detecting Constrained Backdoor Attacks in Federated Learning（第一作者：黃思銓；通訊作者：高英）

論文鏈接：https://ieeexplore.ieee.org/document/10852410

代碼鏈接：https://github.com/siquanhuang/Scope

摘要

聯邦學習（Federated Learning，FL）使多個客戶端能夠協同訓練高效的深度學習模型，但其也易受到后門攻擊的威脅。

傳統的基于檢測的防御方法依賴特定度量標準來區分客戶端的梯度。然而，具備防御認知的攻擊者可以利用這一點，通過在這些度量上對攻擊梯度施加約束，從而逃避檢測，形成度量約束攻擊。

研究人員具體實現了這類威脅，并提出了余弦約束攻擊，這種攻擊能夠成功突破基于余弦距離的先進防御方法。

為應對上述挑戰，研究人員提出了一種新穎的防御機制Scope。該方法通過揭示攻擊梯度中被約束的后門維度，在使用余弦距離的同時，能夠檢測出余弦約束攻擊。

Scope采用逐維歸一化和差異化縮放策略，以放大后門維度與正常或未被使用維度之間的差異，有效對抗高級攻擊者掩蓋后門特征的行為。

此外，研究人員還設計了一種全新的聚類方法主導梯度聚類，用于隔離并剔除后門梯度。

在多個數據集、模型、聯邦學習設置以及不同攻擊者場景中進行的廣泛實驗表明，Scope在檢測和防御后門攻擊方面顯著優于現有方法，特別是在應對余弦約束攻擊方面效果尤為突出。

研究人員還提出了一種專門針對Scope的定制攻擊，試圖最大限度地增強其隱蔽性以規避Scope的檢測，但實驗結果顯示該攻擊依然失敗，這進一步凸顯了Scope防御機制的魯棒性和先進性。

背景

由于大多數后門檢測方法依賴特定的度量標準（如歐幾里得距離或余弦距離）來區分正常梯度與惡意梯度，因此它們容易受到度量約束攻擊（metric-constrained attacks）的影響。

當攻擊者完全了解服務器端部署的防御算法時，他們可以有針對性地對其惡意梯度在防御所使用的度量上進行約束，從而繞過檢測。

這種針對防御機制精心設計的攻擊給聯邦學習系統的安全性帶來了巨大挑戰。

已有研究表明，基于歐幾里得距離的防御方法無法有效抵御在該度量下受到約束的攻擊。盡管使用余弦距離的方法能夠識別受歐幾里得距離約束的攻擊，但卻難以抵擋余弦約束攻擊（cosine-constrained attack）。

值得注意的是，盡管已有研究提出了使用多重度量的方法以應對這一挑戰，這些方法依然未能有效防御此類攻擊。

在該研究中，研究人員采用了一個全新的視角，聚焦于檢測惡意梯度向量中潛藏的后門特征。已有研究表明，神經網絡（Neural Networks, NNs）的不同維度承載著不同的任務，例如正常任務與后門任務。

基于這一觀點，可以將神經網絡的權重劃分為三類維度：正常維度（benign dimensions），后門維度（backdoor dimensions），其余未被利用的維度（unused dimensions）。

后門梯度主要作用于后門維度，而正常梯度則主要更新正常維度。研究人員認為，度量約束攻擊中后門維度難以被區分的原因有兩個：

1. 被正常維度掩蓋，

2. 被未被使用的維度稀釋。

于是，該論文聚焦于以下問題：如何在后門維度被掩蓋和稀釋的情況下找到后門梯度的差異性？

方法

逐維歸一化

由于變化絕對值較大的維度在梯度中占主導地位，導致現有防御方法難以有效檢測出惡意梯度。

因此，研究人員將重點轉向關注各維度的變化率而非其具體數值，以消除高絕對值維度對檢測結果的顯著干擾。為了計算每個維度上的變化率，研究人員將客戶端的梯度（即）在全局模型和客戶端模型之間逐維分解，并將每個維度的梯度變化縮放到區間 [0,1]，從而統一量綱并實現對不同維度變化的相對比較。

差異化縮放

由于所有維度在歸一化后被映射到區間[0,1][0,1]，研究人員將每個維度的歸一化值gi自身冪乘?次，以進一步壓低更新幅度較小的維度值，使其趨近于0，從而消除這些微弱更新維度的影響。

相反，對于接近1的維度，保持其影響不變，甚至增強，從而放大各維度之間的差異，形成「強者愈強」的效應。

通過這種方式，有效削弱了大量未被使用維度對少數關鍵后門維度的干擾，使后門相關的關鍵維度在梯度向量中占據主導地位。

最終，梯度向量的方向將完全由這些后門維度主導，忽略了微弱維度的干擾，從而提升后門特征的可檢測性。

參考資料：

https://ieeexplore.ieee.org/document/11045524

https://ieeexplore.ieee.org/document/10852410