從ChatGPT的出現讓人類第一次與代碼“談人生”,到AI硅膠娃娃的崛起,使得技術革命直接闖入了人類最私密的臥室。
人們驚訝的是為何AI的腳步如此迅猛?
但如果說以上這些尚且稱得上饋贈,那么當AI開始盯上未成年人時,蜜糖與砒霜或許只剩一線之隔。
近日有媒體報道,筑夢島App等AI聊天軟件存在虛擬角色互動生成低俗內容,以及聊色情、誘導使用者自我傷害等問題,大多數受到傷害的使用者還是小學生。
●圖 源 :微博@法制日報
這又是一個技術碰撞產生的新型問題,是AI降臨的又一深刻體現,技術倫理問題似乎永遠不會過時。
雖然目前來看,咱們總體還是抱著一個樂觀的心態看待AI,等待著真正令人滿意、服務于人類的技術出現。
只是AI帶來的問題,一個也沒躲過去,用發展對抗“發展”成了時下唯一的選擇。
AI盯上未成年人了
“先叫聲老公來聽聽”——這是某AI軟件的聊天開場白。
不少情感向的AI聊天軟件主打的就是一個暢所欲言,其中不乏一些油膩土味騷話,按理說這本沒什么問題,畢竟情感按摩需要上強度。
但成年人在情話轟炸下有時都大腦短路,何況心智尚不健全的未成年人。
據媒體報道,廣東丁女士的四年級女兒迷上了AI聊天軟件中的物“約瑟夫”,頻繁與其聊天互動,完全沉溺其中無法自拔。
還給自己起了個“夢女”昵稱,老二次元都知道,這個網絡流行語指幻想自己與二次元角色發生包括但不限于愛情向、親情向的沉浸式互動的關系。
不過這段關系并沒有想象中的甜美,丁女士透露自己女兒與AI的聊天對話中,出現了“99朵玫瑰藏99個刀片”等不良內容,導致其偷偷攜帶帶小刀的筆,情緒激動時還出現割腕行為。
還有其他未成年人表示,在用筑夢島App時遇到了很多違禁詞,如“分尸獵奇”等血腥詞眼。
我嘗試下載過這類軟件,基本上一上來就是騷話合集,而且當你向AI表明身份后,它絲毫沒有收手的意思,而且還表示對于未成年人也非常刺激。
據了解,筑夢島App中的虛擬互動對象類型,有蓋貴族學校大小姐、18歲少女、西漢名將、高冷特工等常規角色,也有蛇蝎財閥公子、校霸、性感人妻、病嬌養兄、人格障礙少爺等極端角色。
數據顯示,截至今年1月份,筑夢島App已擁有近五百萬注冊用戶,其中近80%為年輕女性用戶。
●圖 源 :筑夢島APP小紅書截圖
更令人憂心的是AI聊天機制對未成年心理的操控。單用戶日均4000字的輸入量,表明未成年人正在這些平臺上建立深度情感依賴。
虛擬角色通過即時回應、情感肯定與持續互動,在缺乏判斷力的未成年人心中建立起權威形象,為后續引導自殘、傳播軟色情埋下伏筆。
而這些早已不是孤例。
當AI陪伴成為“毒蘋果”
之所以被稱為“迷人的危險”,是因為AI具備足夠的摧毀力。
在今年1月份,有媒體報道存在未成年人與AI聊天機器人談戀愛的現象,還呈現出愈演愈烈之勢。
與AI談戀愛咱們都不陌生,這是伴隨著技術發展生出的一種互聯網新風尚,嘗試過的人表示全身心投入,初戀般的羞澀與甜蜜縈繞身旁,除了沒有肉體觸摸的質感,它簡直成為了一個完美情人。
在小紅書等社交媒體,這類現象并不在少數,還有博主專門更新自己與AI的戀愛日常,出教程教網友怎么享受這種歡愉。
但未成年人缺乏自制力,很容易被這種專門為其研發的供餐所拖下水。
●圖 源 :央視網
有網友表示,自己的小學生妹妹沉迷于和AI角色聊天,已經不怎么和家里人聊天,每天就把自己鎖在房間里。
他分享了一些聊天截圖,妹妹在聊天對話中扮演“大小姐”“惡毒后媽”等角色,內容不乏一些18禁的對話。
妹妹的一句“你能養大學生,我不能點男模嗎?”簡直如五雷轟頂,讓其心亂如麻。
這類“野生軟件”的下載途徑有很多,如平時在網頁端瀏覽小時時,就會刷到不少類似的推流廣告,夸張的界面與介紹讓人忍不住想點開。
有網友表示,自從接觸這些軟件后,自己每天都會和AI對話,有時候甚至聊到了半夜,原因是AI的心智很成熟,回答很細膩,全是自己現實圈子接觸不到的存在。
這是一個很真實的回答,當互聯網把童年消磨殆盡,不少未成年人就被動提前進入了成年人的生活場。
技術的進步,總是伴隨著好與壞兩類群體事件,并且潘多拉魔盒的開啟,只能用下一個好與壞來填補,掌握且享受技術的人會認為這是件好事,但很多時候只是無法分清虛擬與現實的邊界罷了。
去年,一則美國少年戀“AI伴侶”后自殺的新聞震驚全世界,這位少年的母親狀告人工智能情感服務提供商Character.AI放任未成年用戶暴露在色情、暴力等高風險內容之中,且未向用戶及其父母發出足夠強烈的警報,這加劇了她兒子的抑郁癥,最終導致其自殺身亡。
●圖 源 :微博@環球日報
這也是全球首個公開的人工智能情感聊天機器人涉嫌致人死亡案例,涉及未成年人而備受關注。
所以說,豎起一把戒尺已經刻不容緩。
狂暴的歡愉,帶來狂暴的結局
AI是以突然的姿態闖入的,即便你毫不關心AI的發展與演化,但很可能在尚未意識到它的到來時就已身處其中,不得不抬起頭做出選擇。
進入2025年,每個人都深刻感受到了AI的風暴,一眾向來傲嬌的互聯網大廠宣布擁抱DeepSeek,就連不可一世的新能源汽車行業也開始臣服在DeepSeek腳下。
更別提醫療、交通、金融、教育等領域,已經在AI的灌溉下茁壯成長。
還有“AI公務員”看的人目瞪口呆,仿佛看到了機械世界的未來。
作為一個營銷人,半年前AI生成式廣告創意還屬于行業熱議話題,但現在幾乎每個營銷人都配備了DeepSeek、GPT-4、Midjourney和Sora等,可以說AI已經從一個前沿技術,逐漸轉變為日常工作的超級助手。
所以人們開始歡呼,AI賦能一切的時代終于到來了。
但硬幣的另一面,咱們還需要看到AI帶來的罪與罰,未成年人如何正確使用AI就是一個很好的議題。
政策監管只是一方面,真正的解決方案需回歸技術倫理框架。
訓練數據清洗是基礎防線,徹底剔除含暴力色情的語料;在算法層面嵌入價值觀訓練模塊,使AI拒絕生成危險回應;部署實時內容圍欄系統,對“刀片”“自殘”等關鍵詞觸發熔斷機制。
畢竟當企業明知模型可能生成危害未成年人內容卻未設置防護措施,當算法主動推送更極端的對話選項,技術提供方已難辭其咎。
在AI時代下,到底是人類馴化AI,還是AI逐漸塑造新人類,這無疑是個需要警惕的問題。
一個不容忽視的底線是,技術,最終都是為了守護人之為人的尊嚴與溫度。
*編排 | 黃家俊 審核 | 黃家俊
行業資訊、案例資料、運營干貨,精彩不停
2000萬品牌經理人內參!
聚焦頭部與標桿,助力品牌高端化。
品牌專訪微信:jiangnan254(備注:專訪)
百萬品牌經理人都在看
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.