又是靳東。

連續兩年全國兩會，政協委員靳東都提交了有關AI技術與網絡平臺立法的建議。

3月5日，在政協小組討論上，靳東回應稱：“一些喜歡我影視劇的觀眾，被AI換臉視頻騙得很慘，這個性質非常惡劣。希望能建立更好的規則。”

靳東回應AI換臉導致的詐騙問題

靳東所指的，讓人們聯想到了去年11月，江西宜春，一位老人來到銀行，揚言要貸款200萬，給網戀男友“靳東”拍戲。她的材料不全，銀行沒給辦，但堅持不肯離開。好在民警趕來勸阻，才知所謂靳東是AI換臉視頻。一場騙局險些成真。

這不是孤立案件。“AI假靳東”登上熱搜后，一些網友紛紛講起在家幫老人和AI“斗法”的過程。老人們沉迷刷AI靳東，無法自拔。幫他們破除AI迷障，成了家庭生活的日常。

考慮到靳東在中老年群體中的觀眾基礎，即便類似詐騙近年來屢見報端，但“假靳東”依然在互聯網的隱秘處招搖。

2020年秋天，江西都市頻道報道了當地一則軼聞，一名61歲女子，因與“假靳東”網戀數年，離家出走。“假靳東”至此廣為人知，但大都是演員靳東的影視片段，配上腔調生硬的機械男聲，有的甚至操著濃重的地方口音，破綻百出。

五年過去，騙術套路未變，技術卻愈發逼真了。有了AI換臉和AI擬聲技術的加持，“假靳東”在方寸屏幕之間愈發栩栩如生、真假難辨起來。

換臉技術不新鮮。只是，如今AI技術以假亂真，互聯網空間AI信息泛濫成災。年輕一代網友“沖浪”經驗豐富，練就了“火眼金睛”，依然難免被騙，何況中老年和未成年群體，對AI技術不甚了解，所以存在巨大認知盲區。

因此，對人工智能生成內容的規范和治理，也成了今年全國兩會期間多個委員代表的關注議題。

全國人大代表、小米集團創始人雷軍建議，加強“AI換臉擬聲”違法侵權重災區治理——去年國慶期間，“AI雷軍”那句“開小米Su7創死你們”，就讓他本人深受其擾。全國政協委員、四川大學華西醫院教授甘華田則稱，應當加快制定針對AI生成虛假信息的專項法律法規。

雷軍深受AI擬聲惡搞視頻所擾

甘華田在接受媒體采訪時強調，AI生成的虛假信息“已嚴重干擾公眾判斷、損害社會公信力和穩定”。

清華大學新聞與傳播學院副教授陸洪磊告訴南風窗，如果對AI謠言放任自流，很可能會對社會的信心和穩定在造成巨大沖擊。

他說：“我們正在面臨一場前所未有的認知戰爭。”

真與假的邊緣

一個看起來不過周歲左右的嬰兒，左手端握著瓷碗，右手熟練地使用筷子，把沾滿辣椒醬的面條喂進嘴中、咀嚼吞下。

光是文字描述，大多數人都能立刻意識到上述場景違反常理之處，如果進一步仔細辨認其中的細節，人們會發現，面條在被夾起以后驟然變得稀疏，與嬰兒吞咽的節奏并不一致——顯然，這是AI生成的“杰作”。

但僅憑這樣粗糙的完成度，就足以令一部分中老年用戶蒙在鼓中。在AI生成的嬰幼兒短視頻的評論區，鮮花、愛心和大拇指的表情包，被“人海沉浮”“上善若水”們反復敲下，堆砌成一片熱烈的海洋。

一則廣為流傳的AI視頻中，一群胖嘟嘟的嬰兒，抱著碩大的金元寶，迎面走來。評論區清一色是“爺爺（或奶奶）接住了。”

春節期間，有網友回家過年，發現家中老人對著這樣一段短短幾秒的視頻，反復觀看了一個小時，笑得合不攏嘴，“老人沉迷假孫子”現象，這才引起了廣泛的關注，也讓AI假信息在老年群體中的泛濫問題，引發了廣泛討論。

部分AI短視頻底部，會附以一行半透明的小字：“作者提示：內容為AI技術制作，虛構內容請謹慎甄別。”先不論這行不起眼的小字能否被中老年人的老花眼睛看清，“AI”究竟是什么、有什么用，他們或許都不甚清晰，只懷抱著一副樸素的心態瀏覽互聯網上的種種奇觀：“視頻怎么會騙人呢？”

被AI蒙騙，并非中老年人的“專利”。就在上個月，正值壯年的“80后”也被AI謠言玩弄于股掌之中：一則“中國80后累計死亡率為5.20%”的信息在網絡上肆意蔓延，而中國人民大學教授李婷對此公開辟謠時稱，這一虛假數據很有可能“來源于AI大模型的錯誤”。

甚至股市也會被AI謠言操縱。2023年5月，一網友利用某生成式AI撰寫信息發表于某股市平臺，造成科大訊飛當日午后遭遇股價跳水，盤中一度跌超9%。

AI生成的信息導致股價跳水

陸洪磊告訴南風窗，AI謠言的可怕之處就在于，“它與新聞的邊界正在變得越來越模糊”。

傳統謠言更像一則模糊的信息，模糊之中存在大量邏輯漏洞，普通人很容易辨別。而AI可以賦予謠言確切的時間、地點、人物，甚至是信源和圖片，“一本正經地胡說八道”，更像一則真實發布的新聞信息。

這種高度的逼真性，讓謠言的威力提升至一個新的水平。陸洪磊打了個比方，如果說互聯網的誕生讓謠言從“冷兵器”進入“熱兵器”時代，那么AI謠言的破壞力就是“核武器”。

“良心活”

據《法治在線》報道，去年1月，一則“西安突然響起巨大爆炸聲”的謠言，在網絡上迅速傳播，后經查證，該謠言的發布賬號，隸屬江西一家MCN機構，“從文本到圖片都是AI生成”。

其基本的操作邏輯是，將關鍵詞指令輸入AI，它便會自動生成幾百至上千字的文本，配上幾幅貌似與事件有關的圖片，編造成一篇煞有介事的謠言。

經警方調查，該賬戶負責人王某發布該謠言，目的就是為了推高賬戶閱讀量，以換取平臺的流量激勵。他所經營的MCN機構，最高一天可以生成4000至7000篇文章，其中流量最高的一篇文章收入達700元。初步估算，其每天收入在一萬元以上。

每天數千篇文章，遠遠超出全世界任何一家媒體的單日產能，從中足以看到，AI生成信息，正以何種爆炸式的速度，擠占整個互聯網空間。

這股浪潮的背后，是整個人類的信息生產方式的變革。低成本、高利潤，伴隨著生成式大模型技術的突飛猛進，制造謠言的門檻大大降低，催生了一大批以此為生的灰黑產業。

對此追查卻十分不易。鄭州市公安局負責人在相關媒體采訪中稱，AI書寫段落的語言能力很高，還可以隨機插入素材和圖片，這要求他們必須對每一處信息要素都加以印證，事實核查的成本大大提高。

輸入關鍵詞，AI軟件會自動在網絡上抓取信息，生成文本及配圖

于是，辟謠的速度被迫放緩。而在“傳謠”與“辟謠”速度逐漸拉開的時間差之中，AI謠言對公共輿論空間的破壞性，就此肆意放大和顯現。

那么，我們是否能“以其人之道，還治其人之身”，運用AI去治理AI謠言呢？

一個技術性的客觀現實是，AI生成圖像檢測技術的發展，目前依然落后于生成模型技術的發展速度，并將在未來一段時間始終面臨“道高一尺，魔高一丈”的困境。

另一重挑戰則來源于跨平臺協作。

我國自2023年1月10日起實行《互聯網信息服務深度合成管理規定》，其中明確要求，深度合成服務提供者對使用其服務生成或者編輯的信息內容，應當采取技術措施添加不影響用戶使用的標識。然而在實踐中，限于各平臺技術水平、內容特性和標準化的各項差異，當一則AI生成內容被下載或截屏，再上傳至另一平臺，“原先的水印有可能就消失了”。

陸洪磊說，高水平的水印和圖像檢測技術高度依賴于大規模的資金和人力投入，目前只有規模較大的企業能夠去承擔其成本。“一些中小型平臺檢測技術依賴開源工具，且往往難以承擔計算資源和維護成本，準確率較低”。

更何況，單純基于商業角度考慮，對水印和檢測技術的龐大投入收益究竟如何，“需要打一個問號”。在陸洪磊看來，在缺乏相關法律法規的狀況下，平臺對AI生成內容的規范治理并無嚴格約束，“更像個良心活”。

“人機對齊”

AI生成的圖像和影像，人們尚且可以通過它的光影變化規則、邊緣物理規律的異常去細心辨別。比如今年1月在網絡上廣泛流傳的合成視頻，“西藏地震小男孩被廢墟掩埋”，只要細心觀察，男孩的左手由六根手指組成，肉眼就能“檢測”出來——至少，目前還不難，未來卻不好說。

而對AI文字謠言的甄別，卻幾乎無從下手。

“當前AI生成文本語義一致性之高，已經到了專家學者都難以區分的水平。”陸洪磊說。當下，對AI文字謠言的檢測，“更多時候需要深入其意義表達去判別，目前尚無特別有效的手段攻克”。

就比如上文所述那則“中國80后累計死亡率為5.20%”的謠言，若非長期研究人口的學者公開辟謠，對統計學和人口普查專業知識知之甚少的普羅大眾，很容易便會信以為真。

對于文字信息的治理，平臺目前的普遍做法，集中于對同質化內容的識別和處理。個別MCN機構利用AI批量生成相似內容大規模投放，而平臺通過對文字相似性的比對，可以及時發現異常、實時整治。盡管卓有成效，“但在同質化內容與謠言之間，依然存在一定的概念差異。”有學者向南風窗表示。

技術條件日新月異，行業秩序尚未建立，繁蕪叢雜之中，亟盼相關法律法規的完善與規范。

而這也正是今年兩會期間數位委員代表共同關注的焦點。

我國于2023年8月15日起施行《生成式人工智能服務管理暫行辦法》，如今形成了以此暫行辦法為核心，輔以數據安全法、個人信息保護法等單行法的人工智能規范。

國家互聯網信息辦公室聯合國家發展改革委等七部門聯合發布

全國政協委員、安徽省律師協會監事長周世虹在媒體采訪中介紹，目前依然缺乏高位階的專門立法，現有管理體系覆蓋范圍較為有限，尚且難以應對快速的技術發展可能引發的各種社會問題。

全國人大代表，TCL創始人、董事長李東生也在《關于加強AI深度偽造欺詐管理的建議》中寫道：我國相關立法雖有關注這一議題，“但已出臺的規章制度尚不成體系，還不具備可操作的細則和明確的處罰標準”。

陸洪磊提到了一個概念，叫做“人機對齊”。即AI的內容創造，應當受到人類倫理規范的約束，“人類造謠會面臨的結果，AI造謠應該一視同仁”。

只是，落實這一原則的過程中，責任應該指向哪個主體、細化至怎樣的程度，還需視具體情況共同商定。

而無論如何，陸洪磊相信，人類的智慧與經驗，不光可以體現在大模型技術的飛速迭代之上，它們同樣可以體現在對規范和管理機制的動態設計之中。

作者 | 南風窗記者 奚佑

編輯 | 阿樹

值班主編 | 張來

排版 | 阿車