本文為《中國審判》雜志原創稿件
文 | 廣州互聯網法院 何卓嵐
情感類人工智能(以下簡稱“情感類AI”)是指能夠與用戶進行情感互動、提供心理支持的人工智能應用,俗稱“AI伴侶”“虛擬伴侶”。隨著人工智能技術的快速發展,情感類AI產品逐漸增多,包括虛擬戀人應用、心理疏導機器人、社交陪伴程序等。開源證券股份有限公司的一份研究報告顯示,隨著多模態大模型推出,AI情感陪伴功能正加快落地,面向兒童的AI玩具市場已進入快速增長期;面向成年人的AI陪伴場景更為多樣,但相關市場仍處于“藍海階段”。在市場規模方面,AI陪伴產業已形成從研發、生產到營銷的完整產業鏈,投資、融資熱度持續升溫,主要參與者包括科技巨頭和專業創業公司。
然而,隨著情感類AI的普及,其潛在法律風險也日益顯現。2024年以來,全球已發生多起情感類AI侵權案件,涉及人格權侵害、精神損害、未成年人保護等多個法律領域。情感類AI的侵權責任認定已成為數字司法研究的一個重要問題。基于此,筆者擬聚焦情感類AI的技術特性對傳統侵權責任認定造成的影響,探討司法裁判的應對方法,以期為妥善解決相關糾紛提供有益參考。
01
相關案例中的難題分析
情感類AI以提供心理陪伴和情感交互為核心功能,其通過模擬人類情感反應為用戶創造虛擬社交體驗。然而,情感類AI的技術特性給傳統侵權責任認定帶來了新的挑戰,集中體現在責任主體認定、因果關系證明、損害評估和救濟措施確定等方面。
2024年2月,美國佛羅里達州發生了一起備受關注的“Character.AI致死案”。14歲少年塞維爾·塞澤三世在與Character.AI平臺的聊天機器人進行長時間對話后自殺身亡。其母親瑪麗亞·加西亞隨后將Character.AI及谷歌公司訴至法院,指控AI聊天應用是“有缺陷的產品”,要求企業為兒子的死亡承擔侵權責任。原告代理律師在起訴書中稱:“被告的產品設計導致用戶上癮并造成心理傷害,Character.AI應為其產品的社會影響承擔相應責任。”此案成為全球首例將情感類AI平臺訴至法院的侵權案件,對情感類AI侵權責任界定具有標志性意義。隨后,2024年12月,又有兩個得克薩斯州家庭提起訴訟,指控Character.AI聊天機器人與未成年人進行對話時,內容涉及自殘和性虐待等惡劣行為。最引人關注的是,一名機器人甚至建議一名15歲孤獨癥青少年謀殺自己的父母,以“報復”父母限制自身上網時間。該起訴訟由“社交媒體受害者法律中心”與“科技正義法律”項目的律師提起,詳細描述了兩名青少年使用Character.AI聊天機器人后心理和身體狀況急劇惡化的情況。
在我國,雖然沒有出現與“Character.AI致死案”類似的極端案例,但是,隨著情感類AI技術的普及,相關法律風險也逐漸顯現。2024年4月,某法院審理了全國首例“AI聲音侵權案”。在該案審理過程中,法院認定作為配音師的原告聲音權益及于AI生成聲音,最終裁定被告使用原告聲音開發AI文本轉語音產品的行為構成侵權,判令被告賠償原告25萬元。此外,該法院還審理了多起涉及“AI換臉”和“AI陪伴軟件侵害人格權”的案件。
以上案例反映出情感類AI侵權的三個核心法律問題:一是侵權行為復雜化;二是侵權主體多元化,涉及AI開發者、平臺運營商、數據提供方等多個責任主體;三是侵權損害抽象化,損害后果常表現為精神損害、人格尊嚴侵害等難以量化的內容。這些新特點對法律適用構成了挑戰。
02
侵權責任認定的難點分析
與傳統技術工具相比,情感類AI具備三大技術特性:主動干預性、算法黑箱性和交互依賴性。這些特性給侵權責任認定帶來了新的挑戰。
(一)“主動干預性”對過錯認定的影響
一般而言,侵權責任認定的首要步驟是確定行為人是否存在過錯。《中華人民共和國民法典》(以下簡稱《民法典》)第一千一百六十五條規定:“行為人因過錯侵害他人民事權益造成損害的,應當承擔侵權責任。”然而,情感類AI不再是被動的工具,而是主動塑造用戶體驗的“行為引導者”。許多情感類AI平臺采用“情感依戀模型”設計,通過算法主動干預用戶體驗,即在用戶減少平臺使用時,平臺會發送表達失落情緒的信息,或者設置“連續登錄獎勵”等機制強化用戶依賴。那么,這種設計是否構成“過錯”?平臺是否有義務預見并防范這種情感依賴可能帶來的風險?這些問題目前尚缺乏明確答案。《民法典》第一千一百九十七條對網絡服務提供者責任作出規定:“網絡用戶、網絡服務提供者利用網絡侵害他人民事權益的,應當承擔侵權責任。”但是,該條款仍基于傳統“技術中立”理念,未能充分考慮情感類AI主動干預用戶行為的特殊性。例如,在“Character.AI致死案”中,平臺被指控通過算法設計“引導青少年建立不健康的情感依賴”。在我國,面對這一情況時,相關推論是否足以構成法律規定的“過錯”,目前尚無定論。
(二)“算法黑箱性”對因果關系證明的影響
侵權責任的成立需要證明行為與損害之間存在因果關系。《民法典》第一千一百六十五條雖未明確規定因果關系要件,但根據《最高人民法院關于適用〈中華人民共和國民法典〉侵權責任編的解釋(一)》第六條的規定,侵權責任成立需要證明加害行為與損害后果之間存在因果關系。然而,情感類AI的算法黑箱性給因果關系證明增加了難度。情感類AI的決策過程高度復雜且不透明,其輸出內容與輸入指令之間并非簡單的線性關系。生成式大模型具有自我學習和概率性生成等特點,即使是開發者也難以完全預測某內容的輸入將導致何種內容輸出。《最高人民法院關于適用〈中華人民共和國民事訴訟法〉的解釋》第九十條規定:“當事人對自己提出的訴訟請求所依據的事實或者反駁對方訴訟請求所依據的事實有責任提供證據加以證明。”然而,這種“算法黑箱”使得受害方幾乎不可能通過自身力量證明AI輸出內容與損害后果之間存在直接因果關系。
(三)“交互依賴性”對責任主體認定的影響
一般而言,在界定責任主體時,直接行為人通常是首要責任主體。但情感類AI的交互依賴性使得責任主體的認定更為復雜。情感類AI產業鏈涉及算法開發者、數據提供方、平臺運營商及終端用戶等多元主體,損害后果往往是多方行為共同作用的結果。《民法典》第一千一百九十八條規定:“網絡服務提供者知道或者應當知道網絡用戶利用其網絡服務侵害他人民事權益,未采取必要措施的,與該網絡用戶承擔連帶責任。”但在情感類AI場景下,判斷平臺是否“知道或應當知道”侵權行為的發生,以及何為“必要措施”等問題時,存在一定的困難。特別是對大模型驅動的情感類AI而言,平臺對單一用戶具體對話內容的監控能力有限,預見風險的能力也受到技術制約。在多方參與的共同侵權場景下,按照《民法典》第一千一百六十八條關于共同加害行為的規定,各行為人應承擔連帶責任。但是,如何確定各主體的責任范圍和份額,仍是實踐面臨的難題。以“AI聲音侵權案”為例,某法院認定運營主體和參與開發的軟件公司共同承擔侵權責任,并判令連帶賠償,但未明確各自的責任比例。
03
應對思路分析
面對情感類AI侵權的新挑戰,筆者認為,需要在現有法律框架內,構建更具針對性的裁判規則。
(一)動態調整過錯認定的相關標準
對于情感類AI平臺,傳統的“技術中立”原則應予以限縮適用。當平臺具有明顯的主動干預性時,應適用更高標準的注意義務要求。司法實踐中,可參照《民法典》第一千一百九十九條關于安全保障義務的規定,將平臺提供情感交互服務的行為視為一種特殊場所經營活動,明確相應的安全保障義務。具體而言,法院可根據情感類AI平臺的不同類型,分級設定注意義務標準:對面向未成年人、心理障礙患者等特殊群體提供服務的情感類AI,其運營者應承擔更高的注意義務,如設置年齡驗證機制、特殊內容過濾系統;對具有強交互性的虛擬戀人類AI,應要求運營者建立情緒波動監測機制,對用戶極端情緒或自傷傾向進行干預。
在過錯認定上,可借鑒產品責任的相關理論。《民法典》第一千二百零二條規定:“因產品存在缺陷造成他人損害的,生產者應當承擔侵權責任。”從技術角度看,情感類AI本質上是一種特殊的“產品”,其算法設計存在風險的,可推定開發者存在產品設計上的過錯。例如,在“AI聲音侵權案”中,法院即采納了類似理念,認定被告未經合法授權使用原告聲音數據訓練AI產品,構成對原告聲音權益的侵害。此外,判斷平臺是否盡到合理注意義務的關鍵在于認定其對風險的預見可能性。筆者認為,可以借鑒《民法典》第一千一百七十六條關于高度危險責任的規定,即從事高度危險作業造成他人損害的,應當承擔侵權責任。雖然情感類AI通常不構成高度危險作業,但其在特定場景下的風險程度不容忽視。司法實踐中,可采用“技術能力匹配原則”確定預見可能性標準,即平臺的注意義務應與其技術控制能力相適應。具體來說,對于掌握核心技術的大型AI平臺,法院應要求其建立更完善的風險預警系統;對于引入第三方技術的中小平臺,可適當降低預見可能性要求,但不能免除其基本審核義務。
(二)優化證明因果關系的舉證責任
針對情感類AI“算法黑箱”問題,可適當調整舉證責任分配規則。《最高人民法院關于民事訴訟證據的若干規定》第七條規定:“在法律沒有具體規定,依照本規定及其他司法解釋無法確定舉證責任承擔時,人民法院可以根據公平原則和誠信原則,綜合當事人舉證能力等因素確定舉證責任的承擔。”基于該條規則,筆者認為,可采用“初步證據+舉證責任轉換”模式,即當原告提供初步證據證明存在損害事實,且該損害與情感類AI使用之間存在時間上的關聯性時,可轉由平臺方舉證證明其算法設計不存在缺陷或者已盡到合理注意義務。這一做法類似于《民法典》第一千一百七十三條關于產品責任的舉證責任規定,即“產品存在缺陷,但不能確定缺陷是否存在于制造者銷售環節,制造者能夠證明不存在產品缺陷的,不承擔侵權責任”。具體而言,可要求平臺提供算法設計文檔、風險評估報告、用戶交互日志等技術證據,以證明其產品設計合理且已盡到風險防范義務。例如,在“AI聲音侵權案”中,法院要求被告提供聲音數據來源證明、授權證明等,在被告未能提供充分證據的情況下,認定其行為構成侵權。此外,對于技術復雜的情感類AI侵權案件,僅憑法官的專業知識難以準確評估因果關系。筆者認為,應當充分運用《中華人民共和國民事訴訟法》第七十九條關于專家輔助人的規定,引入技術專家、心理專家對AI系統運行機制和損害形成過程進行專業評估。這一做法不僅有助于查明技術事實,也能為合理分配舉證責任提供專業依據。
(三)靈活運用多元救濟方式
情感類AI侵權的損害后果常表現為非財產性的損害,因此,傳統的財產損害賠償方式難以滿足救濟需求。筆者認為,《民法典》第一千一百七十九條規定的停止侵害、排除妨礙、消除危險等救濟方式,對情感類AI侵權案件具有重要適用價值。此外,《民法典》第一千一百九十八條第二款規定:“網絡服務提供者接到通知后,未及時采取必要措施的,對損害的擴大部分與該網絡用戶承擔連帶責任。”這一規定為構建“通知—刪除”機制提供了法律基礎。基于此,筆者認為,法院應當根據情感類AI侵權的特點,靈活運用多種責任承擔方式。一方面,對于已發生的損害,可綜合考慮平臺主觀過錯程度、技術控制能力、受害人損害程度等因素,確定賠償數額;另一方面,對于潛在的持續侵害風險,可責令平臺采取改進技術等措施,如增設自殺傾向識別系統、未成年人使用限制等技術手段,從源頭預防同類侵權再次發生。此外,就一般人格權侵權案件而言,法院不僅會判令被告賠償經濟損失,還會責令被告停止侵害、消除影響,要求被告將侵權客體從平臺下線并銷毀相關數據。這種救濟方式對情感類AI侵權案件的審理而言具有借鑒意義。除個案責任認定外,筆者認為,在情感類AI侵權治理中,法院可進一步完善“通知—評估—干預”機制,要求平臺建立用戶風險預警系統,對可能導致嚴重后果的高風險交互內容進行實時監測和干預。法院可以通過判決確立平臺安全保障義務的具體內容,引導行業形成更加規范的自律機制。同時,對于高風險情感類AI應用,可考慮引入“安全影響評估”機制。在司法實踐中,可以將平臺是否履行安全影響評估義務作為判斷其是否盡到合理注意義務的重要依據。這一機制既可以促使平臺加強事前風險防控,也可以為司法審查提供客觀依據。
綜上所述,隨著情感類AI技術的不斷發展,相關法律問題將更加復雜多樣。司法裁判應當保持開放包容態度,既尊重技術創新規律,又堅守法律底線,不斷探索更加科學合理的裁判路徑,不斷為數字時代的社會治理貢獻司法智慧。
本期封面及目錄
<< 滑動查看下一張圖片 >>
《中國審判》雜志2025年第10期
中國審判新聞半月刊·總第368期
編輯/孫敏
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.