在無處不在的監控攝像頭時代，我們的隱私正面臨前所未有的挑戰。事件相機曾被認為是保護隱私的理想選擇，因為它們只捕捉場景的動態變化而非完整視覺細節。然而，隨著深度學習技術的發展，研究人員發現從事件流中重建高質量圖像已成為可能，這使事件相機的隱私保護優勢蕩然無存。本文介紹了一項突破性技術——事件匿名化網絡，它能在保持行人再識別功能的同時，有效阻止圖像重建攻擊。這種技術通過擾亂事件流，使重建的圖像無法泄露身份信息，同時保留足夠的特征用于再識別任務。這一平衡技術開創了隱私保護與監控功能并行的新時代。

隱私與監控的雙刃劍

我們生活在一個充滿監控攝像頭的世界。從家庭安防到城市街道，從醫院到銀行，從商場到機場，這些永不眨眼的電子哨兵無時無刻不在記錄著周圍的一切。這種廣泛部署的視覺監控系統帶來了安全保障，但同時也引發了三個嚴峻問題：

安全需求與個人隱私之間的倫理平衡問題日益突出。人們希望通過監控系統增強安全感，但又不愿意自己的一舉一動都被詳細記錄。在歐洲，《通用數據保護條例》（GDPR）的實施就是對這一矛盾的回應，它要求對個人數據（包括視覺數據）的采集和處理必須獲得明確許可。

監控系統存在未授權訪問的風險。2019年，研究人員發現超過10萬個監控攝像頭可以通過互聯網直接訪問，沒有任何有效的密碼保護。這意味著任何人都可能窺視他人的生活空間，這種風險令人擔憂。

大規模傳感器網絡需要消耗大量資源。以英國倫敦為例，據估計該市擁有約50萬個監控攝像頭。這些設備每天產生的數據量高達數十太字節，需要龐大的存儲空間、傳輸帶寬和計算資源來處理。

神經形態視覺傳感器（也稱為事件相機）作為一種革命性技術應運而生。與傳統RGB相機不同，事件相機不會捕捉完整的場景畫面，而只記錄像素亮度變化超過特定閾值時產生的＂事件＂。這些事件以（x， y， t， p）的形式表示，其中x和y是像素坐標，t是時間戳，p是極性（亮度增加或減少）。

事件相機最初被認為是天然的隱私保護設備。以行人為例，傳統相機會記錄一個人的完整外觀，包括面部特征、穿著細節等可識別信息。而事件相機只會記錄輪廓邊緣和運動信息，看起來就像是一些分散的點，很難從中識別出個人身份信息。

事件相機的另一優勢是資源消耗極低。由于只在發生變化時才產生數據，事件相機的數據量比傳統相機少10-100倍。在一個靜止的場景中，事件相機幾乎不產生任何數據。此外，事件相機的動態范圍可達120分貝，遠高于普通相機的60-70分貝，這意味著它們在極端光照條件下（如強光或低光）仍能正常工作。

這些特性使事件相機看似成為監控系統的理想選擇：它們既能執行必要的視覺任務，如人員檢測、跟蹤、行為分析和再識別，又能保護隱私并節省資源。

然而，近年來的研究顯示，事件流中包含的信息遠比想象的豐富。多個研究團隊開發出了事件到圖像的轉換算法，能夠從事件數據中重建高質量的灰度圖像。這些方法包括基于字典的方法、變分模型和深度學習方法。

2019年，瑞士蘇黎世聯邦理工學院的Rebecq等人提出的E2VID網絡，能夠從事件流中重建出細節豐富的灰度圖像。這些重建的圖像清晰度足以識別人臉、閱讀文本，甚至分辨衣物紋理。這意味著事件相機不再能被視為天然的隱私保護設備，因為任何擁有這些算法的攻擊者都可能從事件數據中恢復出可識別的視覺信息。

2021年，中國科學院的Du等人認識到這一問題，提出了一種基于混沌加密的事件流保護框架。該方法使用混沌映射打亂事件的空間位置并翻轉極性，使得加密后的事件流無法被用于重建有意義的圖像。盡管這種方法有效阻止了隱私攻擊，但它也阻礙了下游視覺任務的執行。加密后的事件流必須先解密才能用于人員檢測或再識別等任務，這在實際應用中是不便的，也可能引入新的安全風險。

匿名保護新思路

針對上述問題，一種全新的解決方案應運而生——事件流匿名化網絡。這種方法不同于傳統的加密方式，它采用深度學習的方法來＂擾亂＂事件流，使其既能防止隱私泄露，又能保留足夠的信息用于執行下游任務，如行人再識別。

事件流匿名化網絡是一個端到端的框架，包含三個主要模塊：事件匿名化模塊、圖像重建模塊（作為隱私攻擊者）和行人再識別模塊。整個系統通過聯合優化方式訓練，以達到隱私保護和任務執行的雙重目標。

事件匿名化模塊的核心是一個卷積自編碼器網絡，它接收原始事件體素（voxel-grid）作為輸入，輸出匿名化后的事件體素。體素網格是一種三維空間-時間直方圖，它將連續的事件流離散化為固定的時間窗口和空間分辨率，便于神經網絡處理。使用自編碼器結構的原因是，在最壞情況下，該模塊應能復制原始事件流，以保證下游任務的執行。

該自編碼器由4個卷積層組成，每層使用33的濾波器和步長為1的操作。網絡被訓練來改變事件流的特性，使得從中重建圖像變得困難，同時保留行人再識別所需的空間和時間信息。

圖像重建模塊采用預訓練的E2VID網絡，它是一種循環神經網絡，能夠從事件流重建高質量灰度圖像。在訓練過程中，該模塊充當＂隱私攻擊者＂的角色，試圖從匿名化的事件流中恢復圖像。匿名化模塊則被訓練來抵抗這種攻擊，使重建的圖像質量大幅下降。值得注意的是，圖像重建模塊的權重在訓練過程中保持固定，不參與更新。

行人再識別模塊基于預訓練的ResNet-50架構，經過修改以接受匿名化事件體素作為輸入。該模塊輸出256維的特征向量，用于行人再識別任務。它使用分類損失（交叉熵）和三元組損失進行訓練，與匿名化模塊一起端到端優化。

整個系統的訓練采用聯合優化方式，同時考慮三個目標：

第一個目標是使圖像重建質量下降。系統使用結構相似性指數（SSIM）來評估重建圖像與真實圖像的相似度，目標是最小化這種相似度，使重建圖像盡可能與原始圖像不同。

第二個目標是保持事件流的結構信息。盡管需要擾亂事件流以防止圖像重建，但也需要保留足夠的結構信息以執行行人再識別。系統使用SSIM來衡量匿名化前后事件體素的結構相似性，目標是最大化這種相似性。

第三個目標是優化行人再識別性能。系統使用標準的身份損失函數（交叉熵和三元組損失）來訓練再識別模塊，目標是使相同身份的不同樣本在特征空間中靠近，不同身份的樣本遠離。

這三個目標看似矛盾：一方面需要擾亂事件流以防止圖像重建，另一方面又需要保留足夠的信息用于行人再識別。事件流匿名化網絡通過精心設計的損失函數和訓練策略，成功地在這兩個目標之間找到了平衡點。

在實際應用中，匿名化后的事件流可以直接用于行人再識別，無需任何解密步驟。即使攻擊者獲取了匿名化的事件流，也無法從中重建出可識別的圖像。這一特性使得事件流匿名化網絡成為隱私保護監控系統的理想選擇。

具體實現上，該系統采用體素網格表示事件數據，時間跨度設為約40毫秒（合成數據）或33.3毫秒（真實數據），以與對應的RGB幀同步。體素網格的時間箱數設為5，訓練時將事件體素調整為5392192的大小。系統使用批量大小為24，基礎學習率為0.001，訓練60個周期。動量參數設為0.9，權重衰減設為510^-4。在損失函數中，三個組成部分的權重都設為1，即保持結構信息、降低圖像重建質量和優化再識別性能同等重要。

數據筑基石

要評估一個新技術的效果，離不開真實數據的支撐。事件相機在行人再識別領域的應用研究長期以來受到一個關鍵限制：缺乏一個專為此目的而設計的真實事件相機數據集。以往的研究主要依賴從RGB視頻模擬生成的事件數據，這種方法雖然可行，但無法完全捕捉真實事件相機的特性和噪聲特征。

為了填補這一空白，研究團隊創建了世界上第一個專為行人再識別設計的真實事件相機數據集——Event-ReId。這個數據集的收集過程相當繁瑣，需要精心設計實驗場景和采集流程。研究團隊招募了33名志愿者，讓他們在4臺事件相機的非重疊視野中行走。這些相機采用不同的位置和傾斜角度，模擬真實監控環境中的多視角采集。

每臺事件相機都與一臺RGB相機固定在同一位置，形成立體配置，兩者捕捉大致相同的場景，并通過網絡時鐘實現同步。RGB相機以30幀每秒的速率，640480像素的分辨率記錄畫面，總共采集了約16，000張圖像，平均每人每臺相機約120幀。事件相機的分辨率與RGB相機相同，每段事件流的記錄時間約為4秒，與RGB視頻的長度一致。

數據集的多樣性也是其價值所在。33名受試者中，有9人佩戴口罩，每個人都出現在全部四臺相機對的視野中。數據集還包含了照明變化、姿態變化和視角變化等多種情況，使其更接近實際應用場景。研究團隊還手動標注了人體和面部邊界框，并確保事件流和RGB流中的邊界框保持同步。

與其他事件相機數據集相比，Event-ReId在規模上具有明顯優勢。現有的事件相機數據集主要關注活動識別（如n-HAR和DailyAction-DVS）或人體姿態估計（如DHP19），受試者數量通常在15-30人之間。而Event-ReId包含33名受試者，專為行人再識別設計的特點使其成為該領域研究的寶貴資源。

這個數據集的創建解決了事件相機行人再識別研究的一個根本問題：真實數據的缺乏。它為研究人員提供了一個標準測試平臺，使不同方法的比較和評估成為可能。該數據集已經公開發布，任何研究人員都可以通過Zenodo平臺獲取，其DOI為10.5281/zenodo.8256439。

除了Event-ReId，研究人員還使用了從SoftBio數據集模擬生成的事件數據。SoftBio是一個基于視頻的行人再識別數據集，包含152個身份，總計64，472幀，由8臺監控相機在不受控環境中采集。研究團隊使用開源事件模擬器從SoftBio視頻生成了相應的事件數據，用于訓練和測試他們的匿名化方法。

數據的處理也是一個技術難點。事件相機輸出的是異步事件流，需要轉換為網格形式才能輸入到神經網絡中。研究團隊采用了體素網格表示法，這是一種時空三維直方圖，通過離散化時間域來生成，每個體素代表特定像素和時間間隔。在實際實驗中，他們為合成事件數據設置了約40毫秒的時間跨度，為真實事件數據設置了約33.3毫秒的時間跨度，以與相應的RGB幀保持同步。體素網格的時間維度設為5，這與E2VID圖像重建方法的設置一致。

數據集的劃分也經過精心設計。對于SoftBio，研究團隊隨機將152個身份分為兩部分，76個用于訓練，76個用于測試。對于Event-ReId，則從33個身份中隨機選擇22個用于訓練，11個用于測試。這種劃分確保了測試數據中的身份在訓練過程中從未被模型見過，從而公平評估模型的泛化能力。

攻防實戰

任何一項新技術的價值都需要通過嚴格測試來驗證。研究團隊設計了一系列實驗來評估他們提出的事件流匿名化方法在防御隱私攻擊的同時保持行人再識別性能的能力。

實驗分為兩大類：重建攻擊和逆轉攻擊。在重建攻擊中，假設攻擊者可以訪問匿名化的事件流，并嘗試使用事件到圖像的轉換技術（如E2VID）重建原始圖像，從而揭示隱私信息。在逆轉攻擊中，假設攻擊者不僅可以訪問匿名化的事件流，還可以收集大量匿名化前后的事件數據配對，并嘗試訓練一個網絡來逆轉匿名化的效果。

評估匿名化效果的指標包括結構相似性指數（SSIM）和峰值信噪比（PSNR）。這兩個指標越低，表示重建圖像質量越差，匿名化效果越好。實驗結果顯示，對于Event-ReId數據集，使用原始事件流重建的圖像SSIM為0.548，PSNR為11.617，而使用匿名化事件流重建的圖像SSIM僅為0.384，PSNR僅為8.943，表明匿名化有效降低了圖像重建質量。類似地，對于SoftBio數據集，匿名化將SSIM從0.530降至0.368，將PSNR從11.284降至8.071。

圖像檢索實驗更直接地測試了匿名化的有效性。研究團隊假設攻擊者持有一張查詢圖像（可能是RGB圖像或從非匿名化事件流重建的灰度圖像），并嘗試在包含匿名化圖像的庫中找到對應的目標。他們使用最先進的行人再識別模型BOT來評估檢索性能。結果顯示，對于Event-ReId數據集，在匿名化圖像庫上的檢索性能接近隨機猜測，Rank1準確率僅為8.9%，遠低于在非匿名化圖像庫上的67.8%。

面部識別實驗進一步證實了匿名化的有效性。研究團隊使用預訓練的ArcFace模型來測量匿名化系統對面部識別攻擊的抵抗力。結果顯示，使用匿名化事件流重建的面部圖像上，ArcFace模型的ROC曲線下面積（AUC）僅為0.53，接近隨機猜測的水平（0.5）。這表明即使有先進的面部識別技術，攻擊者也無法從匿名化事件流中提取有效的面部特征。

在保證隱私的同時，匿名化方法對行人再識別性能的影響也是關鍵考量。實驗結果令人鼓舞：對于Event-ReId數據集，從非隱私保護到隱私保護，Rank1準確率僅下降了3.5%（從63.7%降至59.2%），平均精度僅下降了3.6%。對于SoftBio數據集，Rank1下降了3.8%，平均精度下降了2.1%。這表明匿名化方法在保護隱私的同時，對行人再識別性能的影響較小。

研究團隊還將他們的方法與現有的事件加密方法進行了比較。他們實現了Du等人提出的基于混沌加密的事件保護框架，包括部分（75%）丟棄和部分（75%）混亂兩種變體。結果顯示，在Event-ReId數據集上，他們提出的匿名化方法在圖像質量降低和行人再識別性能保持方面都優于這兩種加密方法。具體來說，丟棄加密的SSIM為0.486，Rank1為38.2%；混亂加密的SSIM為0.451，Rank1為29.4%；而他們的方法SSIM為0.384，Rank1為59.2%。

此外，研究團隊還與基線事件驅動的ReId方法（Ed-ReId）進行了比較。結果顯示，即使在應用了匿名化之后，他們的方法在Event-ReId數據集上的性能仍優于Ed-ReId。具體而言，Ed-ReId的Rank1為57.9%，而他們的匿名化方法達到了59.2%。

損失函數的消融實驗揭示了不同組件的重要性。在沒有隱私保護（α=β=0）的情況下，Rank1準確率為63.7%；在有隱私保護但沒有結構保留損失（α=0，β=1）的情況下，Rank1準確率顯著下降至54.5%；而當包含結構保留損失（α=β=1）時，Rank1準確率回升至59.2%。這表明結構保留損失對于在保護隱私的同時維持行人再識別性能至關重要。

對逆轉攻擊的實驗結果也很有說服力。研究團隊訓練了一個自編碼器網絡，嘗試逆轉匿名化的效果，并在重建的圖像上評估了圖像檢索性能。結果顯示，逆轉攻擊后的圖像檢索Rank1準確率僅為9.1%，與直接使用匿名化事件流的8.9%基本相當，表明匿名化網絡對逆轉攻擊具有很強的抵抗力。

視覺結果更直觀地展示了匿名化的效果。從Event-ReId和SoftBio數據集中選取的示例顯示，從匿名化事件流重建的圖像明顯降級，與原始RGB圖像和從非匿名化事件流重建的灰度圖像相比，幾乎無法識別。特別是面部重建結果顯示，從匿名化事件流中無法重建可識別的面部特征，而從非匿名化事件流中仍能重建相對清晰的面部。

這一系列實驗充分證明了提出的事件流匿名化方法在防御重建攻擊和逆轉攻擊方面的有效性，同時在行人再識別性能方面的損失可以接受。這種方法的主要局限性在于下游任務性能的輕微下降和匿名化網絡引入的計算開銷。

實際應用中，這種方法可以集成到需要隱私保護的行人再識別系統中。由于該方法旨在執行再識別任務而不泄露人類身份信息，未來可能擴展到其他基于事件的計算機視覺任務，實現更廣泛的隱私保護。

參考資料

1. Ahmad， S.， Morerio， P.， &； Del Bue， A. （2023）. Person Re-Identification without Identification via Event Anonymization. ICCV 2023.

2. Du， C.， et al. （2021）. Event camera privacy framework based on chaotic encryption. IEEE.

3. Rebecq， H.， et al. （2019）. High Speed and High Dynamic Range Video with an Event Camera. E2VID.