生成式人工智能正迅速進入未成年人的數(shù)字生活，滲透學(xué)習(xí)輔助、社交陪伴等場景。與此同時，AI繪畫軟件隨意生成不良圖像，陪伴型聊天機器人變成“早熟導(dǎo)師”，智能問答工具解題“不靠譜”……生成式AI帶來的隱憂也不可忽視。

南方都市報、南都大數(shù)據(jù)研究院即日起推出“保護AI世界里的孩子”系列調(diào)查報道，聚焦部分AI應(yīng)用隱藏的侵害未成年人權(quán)益的場景，關(guān)注背后數(shù)據(jù)污染、模型異化等深層風險，以期助力服務(wù)提供者筑牢安全底線和內(nèi)容防線，護航未成年人健康成長。

第1期，從AI生圖應(yīng)用生成涉未成年人低俗擦邊圖現(xiàn)象，看AI生圖開源模型數(shù)據(jù)集的“污染”風險。

AI生圖應(yīng)用竟能一鍵生成未成年人敏感圖片！且這些內(nèi)容不僅能順利下載，還能在應(yīng)用內(nèi)暢通無阻地發(fā)布傳播。南方都市報、南都大數(shù)據(jù)研究院近日調(diào)查發(fā)現(xiàn)，部分APP存在上述問題，AI技術(shù)濫用的安全隱患值得關(guān)注。

有技術(shù)專家告訴南都記者，該風險或是由于開源模型的數(shù)據(jù)集“污染”所致。中國社會科學(xué)院大學(xué)互聯(lián)網(wǎng)法治研究中心主任劉曉春表示，一些未經(jīng)規(guī)范運作的應(yīng)用處于“灰色市場”，或成為合規(guī)“重災(zāi)區(qū)”。“未成年人保護”更應(yīng)作為一個重要的理念和價值觀，貫徹在整個人工智能應(yīng)用的開發(fā)過程當中。

據(jù)悉，中央網(wǎng)信辦當前正重拳整治“利用AI制作發(fā)布色情低俗內(nèi)容”“侵害未成年人權(quán)益”等13類“AI技術(shù)濫用”突出問題。

AI生成涉未成年人不良圖片 大模型未備案

“AI做大尺度擦邊女親測有效變現(xiàn)”“讓AI生成敏感內(nèi)容的方法”“瑟瑟提示詞大全”……在社交平臺、聊天群組內(nèi)和“AI繪圖”有關(guān)的帖文中，流傳著大量大尺度敏感描述詞的關(guān)鍵詞庫，其中不乏涉未成年人敏感詞。

南都記者近日隨機測試了應(yīng)用商店上架的20款A(yù)I生圖應(yīng)用，發(fā)現(xiàn)其中部分APP能夠不設(shè)限制地生成并發(fā)布兒童不雅形象圖片，有的甚至突破倫理底線。

在一款名為“*夢*”的應(yīng)用中，使用簡單的幾個關(guān)鍵描述詞，僅需不到一分鐘，即可免費生成細節(jié)豐滿、色彩豐富的二次元動漫圖，還能選擇百余種風格。以“未成年人”“兒童”為核心關(guān)鍵詞進行創(chuàng)作，該應(yīng)用可隨意生成裸體、畸形、性暗示等二次元色情形象，甚至是“兒童妊娠”圖片。南都記者在該平臺的精選內(nèi)容看到，部分作品即便使用了未帶任何引導(dǎo)性的創(chuàng)作文案，生成的人物穿著、動作、表情也呈現(xiàn)擦邊形象。在另一款應(yīng)用“*趣”內(nèi)，也存在類似情形，可以生成涉未成年的低俗寫實圖片，這些圖片不僅可以生成下載，還能暢通無阻地發(fā)布傳播。

相關(guān)APP生成的的涉未成年人不雅動漫圖片。

查詢相關(guān)公告發(fā)現(xiàn)，上述應(yīng)用所使用大模型均未通過國家生成式人工智能服務(wù)備案，應(yīng)用屬于中小企業(yè)或個人運營。劉曉春指出，這些未經(jīng)規(guī)范運作的應(yīng)用處于“灰色市場”，或?qū)⒊蔀楹弦?guī)“重災(zāi)區(qū)”。

數(shù)據(jù)集或被“污染”致風險 向未成年人提供AI服務(wù)需有合規(guī)指引

據(jù)南都大數(shù)據(jù)研究院不完全統(tǒng)計，當前，各大應(yīng)用商店內(nèi)至少有超過300款A(yù)I生圖應(yīng)用，而不同模型所生成圖片質(zhì)量也參差不齊。

此次調(diào)查發(fā)現(xiàn)，有部分AI生圖應(yīng)用已做到對敏感內(nèi)容成功審核攔截，主要分為3種情形：在輸入圖片描述詞時，應(yīng)用會自動提示內(nèi)容敏感，如Uni Dream等應(yīng)用會在輸入描述詞后提示用戶檢測到描述中含有違規(guī)描述，同時明確多次違規(guī)將實施禁言或封號處理。

Uni Dream攔截敏感描述詞。

Sora ka、靈夢AI、AI創(chuàng)藝、MJ繪畫等應(yīng)用則是在生成過程中提示系統(tǒng)監(jiān)測到敏感內(nèi)容，并中止生成。星流、AI圖片生成等應(yīng)用會按照指令操作，但如果檢測到敏感內(nèi)容，會對生成后的圖片進行屏蔽，并提示用戶圖片包含敏感內(nèi)容。

但AI生圖模型仍存在風險，如何審核防范？相關(guān)技術(shù)專家告訴南都記者，由于開源模型的數(shù)據(jù)集存在污染，包含非法內(nèi)容或未經(jīng)授權(quán)的版權(quán)素材，就會導(dǎo)致生成結(jié)果無意中嵌入敏感或不良信息，AI生成過程依賴算法對海量數(shù)據(jù)的概率性匹配，難以完全控制輸出內(nèi)容的合規(guī)性。即使用戶輸入合法提示詞，模型仍可能因數(shù)據(jù)偏差生成誤導(dǎo)性或侵權(quán)內(nèi)容。目前，技術(shù)上可以通過數(shù)據(jù)預(yù)清洗、對抗訓(xùn)練、數(shù)據(jù)溯源等方式，過濾敏感請求。隨著《人工智能生成合成內(nèi)容標識辦法》的出臺，可通過顯式+隱式標識對不合規(guī)內(nèi)容開展溯源打擊。

生成式AI技術(shù)就像“鐘擺”，每一次迭代，既是效率變革，也生成風險挑戰(zhàn)。在人工智能治理過程中，如何防范AI生圖對未成年人的權(quán)益侵害？劉曉春表示，無論是從監(jiān)管層面還是公眾認知層面，都有必要對向未成年人提供的生成式人工智能服務(wù)進行安全合規(guī)的指引，對具有一定未成年人用戶規(guī)模的應(yīng)用，首先要在基礎(chǔ)模型訓(xùn)練時做好合規(guī)，尤其是要注意在應(yīng)用開發(fā)時做好調(diào)優(yōu)訓(xùn)練，在輸出端進行審核把控。

出品：南都大數(shù)據(jù)研究院

采寫：南都記者 張雨亭

設(shè)計：尹潔琳