“作惡”的人工智能還要人來治

有點數·數字經濟工作室原創

作 者 | 有 叔

微信ID | yds_sh

一個家喻戶曉的明星正在短視頻平臺上聊教育話題，猝不及防就打起了廣告：“從小給孩子喝某某牌奶粉，聰明長得壯。”盡管表情和口型有點對不上，但聲音卻相似得出奇。仔細辨別之后才能發現，這是“AI換臉擬聲”搞得鬼。

隨著AI技術的更新迭代，為工作生活帶來便利的同時，也給了犯罪分子可乘之機，“AI換臉擬聲”詐騙、侵權案時有發生。在今年3·15國際消費者權益日來臨之際，我們聊聊人工智能帶來的消費亂象。

當詐騙與AI技術結合，應該如何應對？

“張文宏”正直播帶貨？AI助長了“信息蝗災”

知名傳染病學專家張文宏化身帶貨主播，在深夜直播，大肆推銷某個牌子的蛋白棒？

不久前，某視頻博主發布的視頻中，“張文宏”醫生強烈推銷一款蛋白棒，讓不少網友信以為真，一時銷量近1200件。

面對這樣明目張膽的侵權行為，張文宏隨后作出回應稱，視頻是AI合成的：“我在發現這事后立即投訴過那個AI合成的視頻，但這樣的賣貨賬號不止一個，且一直在變，我多次向平臺投訴但屢禁不絕，自己最后也沒精力了。”

在此類直播中，幕后人員以AI技術利用張文宏的形象和聲音，稍加編造話術進行“忽悠”，便可使得那些不知名、以次充好甚至假冒偽劣商品瞬間賣光。如果騙局被揭穿，他們就會重新再開賬號進行直播帶貨。

“這些假的AI合成信息就像蝗災一樣，一次又一次發生，像漫天飛過來的蝗蟲一樣害人。很多不明真相的老百姓、特別是有些對AI不是很熟悉的、年紀較大的市民，就很容易相信。” 該涉事視頻已從發布賬號中移除，且該賬號已被平臺永久封禁。除了向平臺投訴，張文宏也考慮求助警方，但對方看不見、摸不著，經常更換賬號，很難找到準確的報警對象。

《2024人工智能安全報告》顯示，2023年基于AI的深度偽造欺詐事件數量激增了3000%，AI合成視頻正在成為別有用心之人引導輿論、斂財工具。看不著、摸不見、對得上……這些在AI合成視頻中的優點轉身一變，不斷挑戰人們“眼見為實”的認知底線，侵蝕消費者合法權益。

不只是張文宏，許多公眾人物如教育專家李玫瑾、影視明星劉德華、靳東等都在不同場合呼吁過對“AI換臉擬聲”加強監管，全國人大代表雷軍在今年兩會提出的建議中，就包括關于“AI換臉擬聲”違法侵權的治理。

不管馬云還是靳東，AI都能換臉擬聲

誤信“AI換臉擬聲”的直播帶貨，從而買到假冒偽劣的商品，消費者權益不免受到損害，但更具危害性的是，利用人工智能技術進行的詐騙活動。據媒體報道，有人在社交平臺用AI換臉成富商馬云，視頻連線獲取網友信任，目標受眾多為對AI缺乏認知的中老年人，之后再以“做扶貧項目”等為由騙取錢財。還有人在短視頻平臺上冒充演員靳東與中老年人接觸，以需要錢拍戲為由誘使他人轉賬。

除了冒充公眾人物，還有不法分子用AI模仿你身邊的重要關系人，更是讓人防不勝防。比如天津警方披露的一起AI詐騙案中，市民李先生此前收到了一條短信，對方自稱是李先生單位的領導，要求加其社交軟件詳聊。加上好友后，對方便以有急事需要資金周轉為由，要求李先生向其轉賬，還保證事后錢款一定返還。對方還主動打來視頻電話。看到視頻那頭出現的確實是“領導”，李先生瞬間放下戒備，分3筆向對方匯款95萬元。當天下午，李先生與朋友聊天時提起這件事，越想越覺得不對勁，于是報警。

接到報警后，天津警方迅速與銀行開啟聯動機制，及時對3張銀行卡進行緊急止付操作。銀行成功凍結了涉案資金83萬元。據民警介紹，不法分子利用AI技術，將他人的臉換成熟人或親人的臉，冒充詐騙對象的重要關系人，通過合成“以假亂真”的視頻或照片來實施詐騙。

香港警方也披露過一起多人“AI換臉”詐騙案，涉案金額高達2億港元。據央視新聞報道，一家跨國公司香港分部的職員受邀參加總部首席財務官發起的“多人視頻會議”，并按照要求先后轉賬多次，將2億港元分別轉賬15次，轉到5個本地銀行賬戶內。之后，其向總部查詢才知道受騙。警方調查得知，這起案件中所謂的視頻會議中只有受害人一個人是“真人”，其他“參會人員”都是經過“AI換臉”后的詐騙人員。

與AI換臉視頻相比，AI合成語音在詐騙中更難辨別。全球安全技術公司邁克菲（McAfee）發布的調查報告指出，只需提供3-4秒的錄音，網絡上的免費AI工具就能生成相似度達到85%的克隆人聲。在參與調查的7000多位全球受訪者中，有70%的人不確定是否能分辨 AI 合成語音，而大約有10%的人遭遇過AI語音詐騙。

在社交媒體上，有不少留學生發帖表示曾遇到利用AI合成本人語音，對在國內的父母進行的詐騙。這些詐騙以綁架為名，放出AI合成的求救語音，同時利用時空差，在造成恐慌的心理下騙取大量金額。

預防信息泄露，用心識破AI騙局

我們從上面的案例不難看出，人工智能是把雙刃劍。從細分行業來說，有越來越多的金融機構引入了人工智能來開展客戶服務，這也給了不法分子可乘之機。有消費者接到自稱是保險公司客服電話，要求提供銀行卡信息并支付“續期保費”，結果被騙取錢財。在這背后，是不法分子利用人工智能模擬保險公司客服人員的聲音或聊天機器人，通過電話聯系消費者，誘導其泄露個人信息。

說到這里，我們發現當下利用 AI 技術的詐騙手段呈現出門檻更低，效果更逼真的趨勢，那面對AI新型騙局的各類場景，我們應該如何提高防范意識和應對能力呢？

AI技術上確實能做到換臉、擬音，但要實現騙局，首先得收集到被換臉對象的個人身份信息、大量人臉照片、語音，通過AI生成以假亂真的音視頻；竊取被換臉（聲）對象的社交軟件號碼；掌握詐騙對象個人身信息，熟悉其社會關系等。這就提醒我們，要增強個人信息保護意識，不在社交平臺上發布機票、證書、照片等包含姓名、身份證號、手機號、關鍵位置等個人信息的圖片，不輕易提供人臉、指紋等生物信息給他人。

對一些冒充名人網絡營銷或者生成虛假新聞的，如何辨別，或者怎么識別是否AI換臉、變聲呢？業內專家提醒，一方可以檢查面部特征，觀察表情、動作以及聲音和口型的匹配度；另一方面，核實信息來源，讓對方用手遮住面部或進行其他面部動作判斷畫面是否連貫。

AI合成視頻往往在面部細節上存在較為顯著缺陷：微表情缺失（如眼角細紋、嘴角抽動難以捕捉）、光影不匹配（輪廓和陰影過渡不符合光線反射規律）以及皮膚過于光滑（缺乏毛孔、紋理和瑕疵）。在眼神與表情方面，眼球運動機械化（轉動不連貫、眨眼頻率異常），面部表情僵硬（轉換生硬、笑容缺乏真實感）。

雖然聲音克隆技術近年來取得了顯著進步，幾乎能夠達到以假亂真的程度。仔細聽聽可以發現，AI生成的語音通常更加流暢，語速更快，且較少出現‘額’‘嗯’‘也就是說’等語氣詞或停頓，聽得多了，還是能識別出AI生成的聲音。

結 語

AI亂象面前，消費者提高警惕的同時，政府監管也要跟得上、跑得快。我國相繼頒布了《生成式人工智能服務管理暫行辦法》《互聯網信息服務深度合成管理規定》等法律法規，目的就是規范AI應用。

AI技術要想造福于民，監管與提升大眾防范意識必不可少。只有不斷提高違法行騙成本與難度，提升公眾鑒別真偽意識，才能杜絕AI技術淪為技術行騙的工具。

——The End——