近期，有媒體調查發現廣東丁女士的四年級女兒迷上某AI聊天軟件中的人物“約瑟夫”，自稱“夢女”并頻繁與其聊天，對話中出現“99朵玫瑰藏99個刀片”等明顯誘導性內容。丁女士的女兒不僅偷偷攜帶帶小刀的筆，情緒激動時還出現割腕行為；一位初一男生表示，他常玩的AI聊天軟件是筑夢島App，他覺得該軟件“違禁詞少一點”，其中不乏色情擦邊和“分尸獵奇”等內容……

此外，也有不少家長察覺，自己未成年的孩子深陷于AI聊天軟件，沉溺于與軟件中的虛擬人物進行溝通對話。有些軟件可輕易進行色情擦邊類內容互動，讓未成年暴露在色情、暴力場景之下。部分軟件對“未成年模式”的設定也是形同虛設，選擇開啟此模式與否的決定權仍在用戶手中。有的甚至不需要實名認證，直接用手機號登錄，填上邀請碼就能玩。

圖為筑夢島App中部分與虛擬角色的對話。

6月19日上午，上海市網信辦依法約談筑夢島App運營企業主要負責人，要求平臺立即整改，健全AI生成合成內容審核機制，提升技術把關能力，加強涉未成年人不良內容的整治清理，切實落實未成年人網絡保護義務。

AI聊天軟件常常通過搭設虛擬空間里的角色扮演，給用戶提供虛擬情感陪伴。在智能化的交互中帶來的新鮮體驗感很容易吸引到未成年人，使他們產生過度的依賴。在與AI聊天的過程中，生活經驗缺乏、價值觀尚未完全形成的未成年人，也更容易受到色情擦邊等違規內容的侵襲，給他們的身心健康帶來不小的風險隱患。在未成年人紛紛“觸網”的當下，對AI陪伴類服務的監管刻不容緩。

AI聊天軟件在未成年身份準入漏洞，

軟件開發運營方要承擔哪些責任？

未成年人因受軟件中違規內容

的影響身心受損，

開發、運營方是否涉嫌犯罪？

監管部門和網絡平臺，

該加強哪些方面的監管？

律師解讀

1.AI聊天軟件存在未成年群體身份準入漏洞，軟件開發、運營方或將承擔哪些責任？

軟件開發方和運營方需從身份認證機制、內容審核體系、家長監護支持及合規培訓等多方面完善未成年人保護措施。若因漏洞導致未成年人權益受損，將面臨民事賠償、行政處罰乃至刑事責任的多重追責風險。

首先是民事責任，《未成年人網絡保護條例》明確要求網絡服務提供者為未成年人提供信息發布、即時通訊等服務的，應當依法要求未成年人或者其監護人提供未成年人真實身份信息。未成年人或者其監護人不提供未成年人真實身份信息的，網絡服務提供者不得為未成年人提供相關服務。若平臺未嚴格落實實名制或年齡驗證機制，導致未成年人接觸違規內容，或是產生財產損失，比如未經家長同意進行充值打賞，那么平臺需承擔相應的民事賠償責任。其次是行政責任，依據《生成式人工智能服務管理暫行辦法》規定，倘若平臺沒有采取內容過濾、年齡認證等必要的技術措施，就可能面臨網信部門責令整改、罰款等處罰。而最嚴重的當屬刑事責任，若平臺存在故意或過失，向未成年人提供色情暴力等違法內容，那么就有可能涉嫌“傳播淫穢物品罪”等罪名。

2.如果未成年人受AI聊天軟件誘導性內容、色情暴力等影響致身心受損，軟件開發、運營方是否涉嫌犯罪？

當未成年人因AI聊天軟件誘導性內容身心受損時，開發、運營方的法律責任邊界亟待厘清。首先是產品責任，若AI模型本身存在設計缺陷，例如算法刻意誘導未成年人產生極端行為，致使其遭受精神損害，開發者難逃產品責任的法律追溯；其次是侵權責任，若軟件開發、運營方未嚴格履行內容審核義務，對違規信息視而不見、放任傳播，便需為侵權行為承擔相應后果。若AI生成內容涉及色情擦邊信息，軟件開發、運營方極有可能觸碰“傳播淫穢物品罪”的紅線；若軟件開發、運營方非法收集未成年人隱私數據，將其用于商業牟利，同樣可能因觸犯“侵犯公民個人信息罪”而面臨刑事追責；此外，若相關行為導致未成年人出現自殘情況，還有可能構成刑法第234條規定的故意傷害罪。這些法律風險警示著軟件開發、運營方：技術創新絕不能以犧牲未成年人權益為代價。

3.社會各方（如監管部門、網絡平臺等）應從哪些方面加強監管，才能從源頭上遏制AI聊天軟件違規內容的產生？

構建AI聊天軟件未成年人保護防線，需要社會各方協同發力。

監管部門應發揮主導作用，通過立法、執法與技術創新筑牢屏障。一方面，需完善相關立法，細化AI內容分類分級標準，明確平臺對未成年人的保護義務，如強制實施年齡認證、限制未成年人付費功能；另一方面，積極開展專項行動，以“清朗?整治AI技術濫用”專項行動為抓手，清理違規應用，斬斷黑灰產業鏈。同時，大力推動AI內容標識和檢測技術發展，建立跨平臺違規內容數據庫，實現精準監管。

網絡平臺作為內容提供主體，必須強化自身責任。在用戶準入環節，應采用生物識別、身份證驗證等先進技術強化年齡驗證，杜絕虛假身份注冊。進一步優化青少年模式，嚴格限制使用時長，關閉敏感功能，并定向推送科普、教育類適齡內容。在內容管理方面，引入專業倫理審查團隊，結合AI圍欄系統，及時攔截暴力、色情等違規內容；此外，開發者需在AI模型訓練中嵌入正向倫理規則，進行價值觀訓練，避免AI生成誤導性內容；同時，嚴格篩選數據，剔除含有暴力、色情等不良語料，并定期更新審核標準，從技術源頭把控風險。

家庭與學校也需承擔著不可或缺的教育引導職責。家庭教育中，家長應積極引導孩子正確認識虛擬社交，避免過度情感依賴；學校需將AI倫理課程納入教學體系，警示技術濫用風險，并為學生提供心理咨詢服務，幫助其健康成長。唯有形成“法律+技術+社會”的共治體系，才能從根源上遏制違規內容，為未成年人營造健康、安全的網絡環境。

來源：中國婦女報