明明是循規(guī)蹈矩的女學生，因照片被盜用，被“換臉”之后，成為小電影的主角。卻因為拿不出來證明“我不是我”的證據(jù)，背上莫須有的罵名。

這不是電視劇情節(jié)，而是韓國真實的、正在發(fā)生的Deepfake事件。

犯罪分子獲取女性照片后，通過AI技術(shù)Deepfake將其“換臉”，捏造并不存在的“事實”誣陷女性，陷入自證陷阱的女性們無法自證清白，只能呼吁大家關(guān)注濫用Ai帶來的危害。

很快，這件被稱為“N號房卷土重來”的事件，引發(fā)了全球關(guān)注。

畢竟隨著AI技術(shù)的發(fā)展，我們?nèi)魏稳硕伎赡艹蔀楸籇eepfake（深度偽造）的對象，成為那些我們沒拍過、沒錄過的音視頻的“主角”。

因此，如何確保我們的安全、防止AI技術(shù)的濫用，或者及時識別出Deepfake的詭計，變得迫在眉睫。

這也是外灘大會AI創(chuàng)新賽·全球Deepfake攻防挑戰(zhàn)賽上，來自全球26個國家及地區(qū)的2200名“最強大腦”想要的解決的難題。

本次Deepfake攻防賽由中國工程院院士王耀南擔任專家委員會名譽主席，螞蟻數(shù)科ZOLOZ和天璣實驗室作為大賽出題方，賽題包含圖像和視頻兩大主流的Deepfake研究方向，是CV(即計算機視覺)領(lǐng)域權(quán)威賽事之一，吸引了全球超1500支隊伍參與。

賽事數(shù)據(jù)集由公開數(shù)據(jù)和偽造數(shù)據(jù)組成，其中，偽造圖片數(shù)據(jù)涵蓋了現(xiàn)實場景中超50種生成方式，偽造音視頻中則納入了超100種組合攻擊方式，組委會開放的訓練數(shù)據(jù)集總量超過100萬。

經(jīng)過3個多月的激烈比拼，大賽圓滿結(jié)束，但關(guān)于AI與對抗的故事并沒有結(jié)束：

在9月6日Deepfake攻防賽表演賽上，由螞蟻數(shù)科和中國科技大學網(wǎng)絡(luò)空間安全學院聯(lián)合設(shè)計的高逼真Deepfake圖像亮相現(xiàn)場，對選手AI模型進行終極考察。來自中科院的VisionRush團隊獲得圖像賽道三等獎。

這也意味著，該AI模型能高效、有效地識別利用生成式AI技術(shù)制作的造假視頻，為深受Deepfake困擾的受害者解決難題。

而早在9月2日，VisionRush團隊響應(yīng)賽事組委會號召，公開了這個模型源代碼，旨在幫助那些深受Deepfake技術(shù)困擾的受害者。

某種程度上來說，本屆大賽已圓滿結(jié)束，但推動“AI向善”的初心故事，還在繼續(xù)。

以下是關(guān)于他們的真實故事：

文 | 常寧寧

編輯 | 卓然

我要怎么證明“我”不是我？
一個看似毫無邏輯的問題，卻極有可能因為Deepfake技術(shù)的濫用成為現(xiàn)實。
我們希望通過技術(shù)手段，為每一個可能受到傷害的人提供保護。

9月2日，“全球Deepfake攻防挑戰(zhàn)賽”參賽團隊“VisionRush”決定在網(wǎng)上開源其參賽作品，援助Deepfake受害者后，團隊成員之一的中科院95后助理工程師張欣怡在微博上寫下了如上這段文字。

張欣怡所在的VisionRush參賽隊，由7名來自中科院自動化研究所的師生組成，平均年齡僅25歲。在本次比賽中，他們利用賽方提供的超150萬數(shù)據(jù)，訓練出了根據(jù)視頻軌道來識別是否為生成式AI偽造視頻的AI模型。

圖 | 中國科學院自動化研究所VisionRush參賽隊

這一模型，能有效地幫助Deepfake的受害者們證明“我不是我”這個難題。

“Deepfake”是由"deep learning"（深度學習）和"fake"（偽造）兩個單詞組合而成，是通過人工智能技術(shù)，將圖片或視頻中某人面部特征與其他人的與其他人的圖像或視頻進行融合的技術(shù)，從而創(chuàng)造出以假亂真的虛假視頻或照片。

隨著生成式AI的技術(shù)發(fā)展，Deepfake的門檻越來降低，如今僅憑一張照片，便可以低成本炮制大量肉眼難辨真?zhèn)蔚膱D片和視頻，任何人都可以“造假”，也可能成為“被造假”潛在目標。

因造假成本太低，受害者往往難以證明視頻中的“我不是我”。

例如，最近韓國卷土重來的“N號房”事件，有超過200所學校的女生被Deepfake換臉成為色情圖片女主角，在海量“有圖有真相”中，女生們陷入自證陷阱中。

但在技術(shù)人眼里，既然這些視頻是Deepfake的，只要是fake就有破綻，肉眼看不出來的，就要用“AI的辦法打敗AI”。

37歲的王博畢業(yè)于北大計算機專業(yè)，現(xiàn)在是中科院自動化研究所副研究員。王博重點多媒體內(nèi)容安全，比如說文本、音視頻等內(nèi)容是否涉及違規(guī)有害內(nèi)容。期間，他見證了中國AI技術(shù)的發(fā)展，也見證了2020年前后，生成式AI加持下，Deepfake普遍普及后，在網(wǎng)絡(luò)世界掀起的大浪。

如不法分子通過換臉名人政要、偽造音視頻，惡意曲解政策，引發(fā)輿論不安、威脅國土安全；或者詐騙分子僅憑一張網(wǎng)絡(luò)上的自拍，就能通過視頻換臉，隨后實施電詐。

據(jù)不完全統(tǒng)計，僅在2022年，我國AI詐騙案件就達到了50萬件，涉及金額超過100億元。

VisionRush的趙鵬鵬就曾見過一個報案，犯罪分子通過Deepfake換臉成校長，詐騙了一個班級群的家長，群內(nèi)成員無一人幸免。

與此同時，由于大部分的Deepfake犯罪集中在網(wǎng)絡(luò)空間，受限于取證困難等客觀因素，大部分受害者維權(quán)困難，且即使能維權(quán)成功，時間周期也漫長，期間造成的名譽損失、心理傷害更是無法估量。

“我們整個大團隊，專注在安全領(lǐng)域20多年了。始終沒有換方向，其實情懷也就在里面了。我們還是想為凈化網(wǎng)絡(luò)空間，做一些努力。 ”王博說。

但對抗Deepfake極其背后的黑產(chǎn)，僅靠一個7人團隊的力量并不夠，所以VisionRush也希望開源后，越來越多專業(yè)人士能參與進來，利用這個模型去做一些更有意義的事情。

就如參賽隊員張欣怡在微博中所說，“我們希望通過技術(shù)手段，為每一個可能受到傷害的人提供保護。”

對抗Deepfake又稱“偽造對抗”，雖也是AI領(lǐng)域，但相較于“生成式AI”實在是太冷門了——商業(yè)潛力不如生成式AI、研發(fā)還需要投入資金。

包括這次比賽，也是VisionRush團隊為數(shù)不多的專業(yè)“對口”比賽。在得知螞蟻集團舉辦了全球范圍的安全大賽、可以和來自全球的同行交手后，團隊立即成立了報名參賽，除了“切磋練兵”的心態(tài)外，也想去驗證一下自己實力。

畢竟目前“偽造對抗”關(guān)注少，邊緣化，但并不意味著其面臨的壓力更小，甚至因為各方面因素，“偽造對抗”面臨的壓力更大。

首先在生成式AI的技術(shù)加持下，黑產(chǎn)的攻擊也越發(fā)猖狂。

姚偉斌就切身感受到了這種"猖獗"。姚偉斌系螞蟻數(shù)科的安全科技品牌ZOLOZ的技術(shù)負責人，ZOLOZ基于螞蟻集團超過20年的安全基礎(chǔ)，為金融、政務(wù)、互聯(lián)網(wǎng)等海外客戶提供安全保障，而這些客戶也恰好是黑產(chǎn)想要利用Deepfake攻擊的對象。

“以攻擊濃度而言，去年我們的海外客戶面臨的攻擊濃度約1%，今年達到了10%”，這意味著以前100次服務(wù)中約有1次黑產(chǎn)攻擊，現(xiàn)在100次訪問中有10次攻擊，未來這個數(shù)據(jù)可能上漲到50%，甚至更高。

但在識別虛假的對抗技術(shù)卻同生成式AI技術(shù)之間存在巨大代際差。

最直觀的對比在數(shù)據(jù)模型投資上。AI模型的能力和投資成正相關(guān)，即投入的資源、數(shù)據(jù)、算力越多，AI模型越強大。

市面上一個生成式AI的模型投資可能達到千萬級，但偽造對抗一個模型可能就幾十萬預(yù)算，巨大投資差異意味著二者之間力量“懸殊”，若黑產(chǎn)分子以生成式AI為武器發(fā)動攻擊時，維護網(wǎng)絡(luò)安全的“偽造對抗”或許面臨“軍火不足”的困境。

王博說，“現(xiàn)在互聯(lián)網(wǎng)中的偽造數(shù)據(jù)爆發(fā)式增長，很難對全網(wǎng)數(shù)據(jù)進行審查，偽造和鑒偽的資源投入不平衡也是一大挑戰(zhàn)。“

某種程度上來說，做“偽造對抗”像是一場“逆行”，但這場“逆行”沒有回頭路。

畢竟AI作為未來趨勢，也是綜合國力的一環(huán)，如果沒有相應(yīng)的安全能力去制衡，AI的發(fā)展可能會誤入歧途。

“所以和Deepfake的這場戰(zhàn)爭必須打，而且必須贏”，姚偉斌說。

AI沒有感情，或許會淪為作惡的工具，但AI終究是“術(shù)”層面的東西，還需要“道”的層面來維護。

“做科研這份工作，需要有足夠耐心和持之以恒的努力，還要能抵擋抵擋足夠多的誘惑。“王博坦言，掙錢可以體現(xiàn)一個人的價值，但是解決一個科學問題，解決國家一項重大需求，是更有價值更有意義的事情，這不是金錢能衡量的。”

“有人做生成，就要有人去做對抗。“他們相信，這個世界總是會有人愿意共同“逆行”打贏這場戰(zhàn)爭的。畢竟相比于技術(shù)層面的東西，那些不變的普世價值觀，才更能推送社會長足進步。

AI行業(yè)面臨的安全挑戰(zhàn)刻不容緩。

過去，由于AI門檻高，使用場景相對有限，對其潛在危害的討論大多局限于學術(shù)界。然而，隨著生成式AI技術(shù)的發(fā)展，Deepfake等應(yīng)用變得日益普遍，相關(guān)的安全問題也隨之“破圈”，才引起了公眾的廣泛關(guān)注。

在這樣的背景下，“偽造對抗”領(lǐng)域不僅小眾、鮮為人知，整個行業(yè)也因起步較晚，極度缺乏實戰(zhàn)型人才。

目前大部分關(guān)注“識別虛假的對抗技術(shù)”的人，如這次外灘大會的這次全球Deepfake攻防挑戰(zhàn)賽選手中，大多是出于一種信念在堅持。

例如，本次參賽的曾兆陽，他是一位擁有12個大賽冠軍頭銜的天才程序員，曾在大型科技公司工作，并參與過綜藝節(jié)目《燃燒吧！天才程序員》的錄制，在算法領(lǐng)域頗具名氣。

目前，他是粵港澳數(shù)字經(jīng)濟研究院的研究員，專注于機器視覺研究，即賦予機器“眼睛”，使其能夠通過圖像進行判斷和理解，這是AI領(lǐng)域的一個重要分支。

近年來，隨著人工智能相關(guān)的詐騙案件增多，曾兆陽開始關(guān)注到在AI技術(shù)的正反兩面博弈的問題，于是在發(fā)現(xiàn)這次比賽之后，他抽空參與了本次比賽，并交上了自己的答卷。

香港城市大學的博士后吳海威，則早在2019年讀研二時，就參與過Facebook舉辦的Deepfake檢測大賽，之后的3年時間里，無論科研壓力多大，他多次參與相關(guān)比賽，希望通過競賽去提升自己，為網(wǎng)絡(luò)安全貢獻一份力氣。

在VisionRush開源之后，吳海威、陳逸鳴所在的澳門大學JTGroup戰(zhàn)隊也相繼開源自己的參賽模型，他們也是這次大賽圖像賽道一等獎隊伍。

但是，要想在“偽造對抗”中取得勝利，僅憑一群人的信念是不夠的。

在AI技術(shù)發(fā)展的浪潮中，每個人的命運都與AI緊密相連。我們無法預(yù)知科技的利刃何時會傷人，也無法估量其后果。因此，我們需要在利刃尚在手中時，就采取預(yù)防措施。

正是基于“推動AI向善”的初心，螞蟻集團主辦、螞蟻數(shù)科承辦了本次外灘大會AI創(chuàng)新賽·全球Deepfake攻防挑戰(zhàn)賽。比賽的目的是喚起社會對AI安全的關(guān)注，吸引更多的投入，并培養(yǎng)實戰(zhàn)型人才，使識別虛假內(nèi)容的對抗技術(shù)能夠跟上生成式AI的步伐，將AI技術(shù)納入道德的框架內(nèi)。

推動AI健康發(fā)展，不是少數(shù)人的任務(wù)。

在AI廣泛應(yīng)用于各個領(lǐng)域的情況下，社會需要更豐富、更多元化的實戰(zhàn)型人才梯隊。比賽中，我們可以看到選手背景的多元化。

除了來自26個國家的超過1500支隊伍同臺競技外，還有許多來自字節(jié)跳動、小紅書等一流互聯(lián)網(wǎng)公司的AI研究者參與。

唐永威雖然不是計算機科班出身，但他在2022年參加ATEC大賽時自學了AI技術(shù)。作為一名數(shù)據(jù)分析師，他對數(shù)據(jù)有著天然的敏感度。

在建模時，他一改行業(yè)內(nèi)人看到數(shù)據(jù)建模后測試修改的工作方式，而是基于對數(shù)據(jù)的分析和業(yè)務(wù)理解，建立若干不同模型，進行算法攻防測試。

通過這種“更下沉”的操作，唐永威的AI檢測模型在本次比賽中表現(xiàn)出色，獲得了視頻賽道的一等獎。

這也再次證明，推動AI向善，不能僅依賴于少數(shù)人的努力，而是需要凝結(jié)大眾的力量。

畢竟，善良作為一種美德，既是社會的底色，也是社會的共識，沒有人能置身事外。

（應(yīng)采訪者要求，文中均采用化名）