“重大新聞!路邊停車費6月1日起取消”,假資訊!霸總創業三年成功買下8000平辦公樓?假人設!知名藝人在視頻中推薦“三無”化妝品?AIGC造假!6月12日,在北京舉辦的小紅書“打擊虛假”治理開放日現場,一批虛假不實筆記及賬號人設被作為典型案例曝光,彰顯了小紅書“史上最嚴黑灰產治理行動”的決心。
開放日上,小紅書相關治理業務的負責人詳細介紹了該社群打擊批量造假的策略和手段,并公開了2025年上半年社區虛假內容治理的成果。如通過建設虛假內容全鏈路治理體系,共處置虛假筆記320萬篇,處置虛假人設賬號1萬個,處置虛假低質AIGC筆記60萬篇;通過持續建設“同質化識別”能力,全面提升處置手段,升級機器對抗,共封禁批量造假黑灰產賬號超1000萬個。
“今年上半年,虛假信息的平均審核時長同比降低25%。” 南都記者關注到,就在11日的中國網絡文明大會上,小紅書總編輯許磊在介紹平臺打假成果時還特別提到,后續將持續優化舉報機制,預計年底將持續減少10%舉報審核用時,吸引更多用戶參與到虛假內容的共治中。
交流現場,中國人民大學新聞學院傳播學副教授董晨宇表示,應對當前互聯網虛假內容快速增長與傳播,要避免事后處置陷入“打地鼠”的重復作戰,源頭還應落在提升公眾的媒介素養,構建全社會共治的良性互動。
為什么“假”在小紅書社區不受歡迎?
“作為生活類內容聚集的社區,更多用戶不只是想看熱鬧、娛樂的內容,圖個樂子,他們還希望從創作者和別的用戶的真實分享中,獲得收獲。” 在現場創作者對談環節,生活vlog創作者@“一只記錄西”從自身在小紅書的創作經驗出發,談到真實的內容、真誠的表達,天然更具有流量優勢。“小紅書的用戶不僅僅是看內容,大家喜歡更深度的交互,在互動中,真實內容和編造內容的差距也會不斷拉大,虛假人設在小紅書很不受歡迎。”
創作者@“一只記錄西”與董晨宇現場交流內容創作心得
“真誠才是必殺技,你的真誠輸出才能收獲真實聲音的回饋,才能收獲長久的創作信用和作品生命力。”作為小紅書廣受歡迎的網紅創作者之一,董晨宇對社區的“真誠”DNA亦有同感,“能看到,相比精致完美的人設與故事,社群用戶其實更喜歡有缺陷但接地氣的坦誠表達,就我們常說的,要有‘活人感’。”
“真誠分享是小紅書的底色,而虛假卻是社區的癌細胞,決不能放任其發展危害健康生態。”小紅書虛假內容治理負責人蒂法介紹,作為 UGC 社區,小紅書公約明確提到的“真誠分享”,因此也將持續主動治理虛假不實,嚴厲打擊批量造假黑灰產賬號,倡導真實。
小紅書虛假內容治理負責人蒂法介紹治理策略
在開放日現場,記者觀察到,當前,虛假不實內容、虛假人設和AIGC造假是小紅書社區打擊“虛假”的三個重點。
據蒂法介紹,在虛假不實內容治理方面,小紅書建構了“前置攔截、事中追蹤、分析回掃”的“前中后”全鏈路治理體系;上線了內容信息量模型,筆記摘要提取模型,AIGC謠言診斷模型等15個識別大模型,并建立了真實信源庫和謠言庫,實現了對虛假內容的實時攔截和批量回掃,半年共處置虛假筆記320萬篇。在虛假人設治理方面,小紅書設置了內容前置審核制度,采用了賬號關系挖掘分析策略,并上線多個圖像及視頻識別模型,通過綜合筆記內容和賬號信息來精準打擊虛假人設,半年共處置虛假人設賬號 1萬個。
而當AI爆炸遇上平臺治理,虛假低質AIGC內容也成為清朗網絡空間的重點整頓對象。“我們半年內處置的虛假低質AI筆記超60萬篇。”蒂法介紹,小紅書針對AIGC內容做高曝流限制和主動標識,減少虛假低質AI內容的曝光,提升透明度。同時加大對AIGC識別模型的研發投入,進一步提高識別精準度,并特別針對AI造假賬號細化了分級處罰機制。
活動現場,董晨宇從傳播學角度分享虛假信息的傳播規律與應對策略時,還特別提到了一個更深層面的平臺治理難題,即如何鑒別游走于真假邊緣的“問題性信息”。“虛假信息無法完全反映平臺虛假問題的復雜性。”董晨宇在現場演講中談到,“問題性信息”的外延和內涵比虛假信息更為復雜,也更加泛濫。他分析稱,這其中既有因“利己”或“過失”因素帶來的輿論操縱、混淆等情形,也有因信息失序和情緒主導阻礙了群體對話的因素。而其中,黑灰產賬號批量造假注冊人機號,虛構人設IP引流乃至引戰,更加劇了“問題性信息”的泛濫傳播。
封號1000萬個
“批量造假”黑灰產賬號迎來最嚴治理
虛假內容之外,黑灰產賬號批量造假也是小紅書平臺治理中的一項重頭戲。
“我們開展了小紅書史上最嚴黑灰產賬號治理行動,對黑灰產堅決打擊,絕不讓步半分。”開放日現場,小紅書黑灰產賬號治理負責人必行的表態擲地有聲。
小紅書黑灰產賬號治理負責人必行分享黑灰產賬號的特征
黑灰產對社區生態的傷害主要在哪些方面?治理的難點何在?
據必行介紹,黑灰產組織批量制造黑灰產賬號,通過虛假、重復、低質內容騙取用戶流量;養號漲粉后,又會發布虛假、惡意營銷內容,或者銷售灰色商品,提供灰色服務,甚至從事違法活動,從而實現不當牟利 。“從建號到養號再到牟利,黑灰產賬號進行全鏈路批量造假,對社區生態和秩序的危害十分巨大。”
南都記者從現場交流的黑灰產案例中獲悉,當前小紅書社區的部分黑灰產賬號,常以“學姐”“學長”的虛假人設,發布套路、虛假內容來達到引流營銷目的。其中一個案例顯示,千余個冒充留學生的人設賬號,利用云手機,以有內幕、黑料、避雷、信息差等噱頭發布筆記,獲得客戶資料并引流到微信,再推薦給合作的下游機構,甚至變相敲詐勒索教育領域的品牌商家,如不合作就發“黑料”。
“有黑灰產賬號在小紅書發筆記,標題就是‘掛三家騙子公司’‘騙子公司虛假宣傳真厲害’;還有就是列舉幾家比較頭部的公司,橫向測評對比。”一家知名考試教育機構人士,現場和記者交流分享其遭遇黑灰產的案例時提到,在這類筆記里面,既沒有具體案例來印證騙子公司,也并無真實細節對比各家優劣,“話術繞來繞去就是引流用戶”。
“現在很多黑灰產不僅針對頭部企業,而是裹挾整個行業機構來和他合作。作為品牌,很欣慰能看到社區對黑灰產賬號進行嚴肅治理,維護公平競爭額商業秩序。”該機構人士表示。
當前黑灰產治理面臨數量巨大、隱蔽深、變體快和對抗強等挑戰,“比如都是虛擬號碼批量注冊、使用群控系統;基本都一機一號,不僅有獨立IP地址,還會組織普通人幫忙發布信息,操作已然精細。”必行介紹,在這一現狀下,小紅書治理團隊主要從識別能力和處置能力兩方面重點做功。
在識別能力方面:上線50多個模型,建立了以“同質化識別”為核心的風控體系,將對黑灰產的識別召回率提升了72%;在處置能力方面:不斷優化處置策略,極大提升黑灰產作惡成本;全面升級機器對抗,用機器判罰大規模代替人工判罰,大幅提高對黑灰產賬號的處置量級及時效性。
現場,一組小紅書黑灰產治理成果數據揭曉,“最嚴治理”實至名歸:2024年11月中,小紅書黑灰產賬號治理專項開啟;專項開展1個月,封禁126萬黑灰產賬號;開展3個月,封禁320萬黑灰產賬號;開展7個月,封禁超1000萬黑灰產賬號。“我們也加強與政府和市監部門的通報合作,目前有7起案件在偵辦中,后續偵查有涉及犯罪行為的還將進一步追求刑事責任。”必行說。
UGC互聯網社區治理新范式:共享共治
應對虛假,內容平臺的主動治理非常重要,但用戶參與共治才能放大打假的力量。小紅書作為UGC社區,用戶創作內容,同時用戶也成為打假的重要共治力量。據悉,僅2025年上半年,小紅書虛假內容的用戶舉報量同比就增長了40%。開放日上,小紅書審核培訓師給現場觀眾上了一節“打假”志愿者培訓課,展示了近10個不同類型的造假案例,引發了觀眾的鑒假熱潮。
“這個加州山火的AI假圖,畫面中的海平面風平浪靜,和真實山火現場受狂風影響的事實不符”“這個二胎孕媽找搭子的人設賬號,上個月還是男寶,下個月就營銷女寶了,離了個大譜..."打假現場,大家踴躍發言,一起開心“找茬”。 在場多位觀眾表示,日后也會將學到的鑒假方法應用到對虛假內容的鑒別和舉報中。
治理開放日上,現場觀眾熱情參與鑒假互動。
小紅書副總裁許磊在前一天的中國網絡文明大會上也介紹了小紅書較為完善的虛假信息舉報制度。小紅書開通監管網站、APP客戶端舉報、舉報熱線和舉報郵箱四種途徑。在常態化轉發重要辟謠稿件的基礎上,搭建起辟謠專區,為用戶提供一站式辟謠信息服務;官方賬號“薯管家”每周定期發布辟謠筆記。
據悉,下半年,小紅書還將進一步簡化用戶舉報流程,實現一個頁面、一次提交即完成舉報,讓更多用戶低成本、無門檻地參與到虛假信息的共治中來。更多措施還包括:提供給部分用戶內容標注表態功能,引入用戶共治,群策群力;建立熱榜辟謠卡,讓用戶辟謠的內容登上熱榜,教育更多用戶等。
許磊表示,小紅書是“普通人創作內容”的社區,“分享真實的內容”和“真誠分享”不僅是平臺用戶自發形成的內容創作準則,也是小紅書的社區價值觀。打擊虛假固然重要,讓流量流向真實同樣重要。小紅書正在構建的真誠分體系,初心就是把流量給到真誠的人和商家。據許磊介紹,小紅書的“真誠分”賬號體系,從分享動機、內容質量多方面判斷賬號是否真誠,從而對真誠的創作者給予流量傾斜,對虛假低質的雜音噪聲進行壓制。
“虛假和打假之間注定一直是一種動態制衡。這場持久戰不僅需要平臺端和政策端的持續發力,更需要全社會立體式的參與和互動。”董晨宇直言。
采寫:南都記者洪子翾 發自北京
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.