新智元報(bào)道

編輯：KingHZ

【新智元導(dǎo)讀】從病歷、口味偏好到不堪回首的往事，AI正悄悄建立你的數(shù)字人格檔案。但你真準(zhǔn)備好讓AI永遠(yuǎn)記住你的每一句話？AI算法背后，不止有溫柔，還有社死和殘酷。

今年4月，OpenAI發(fā)布了ChatGPT的「記憶」功能：

此后，ChatGPT的記憶功能正在全面升級(jí)，不僅更智能、更自然，甚至免費(fèi)用戶也能享受。它能記住你說(shuō)過(guò)的話，形成個(gè)性化檔案，不斷優(yōu)化對(duì)話體驗(yàn)。但問題也隨之而來(lái)——

你，真的準(zhǔn)備好讓一個(gè)AI永遠(yuǎn)記得你嗎？

這很重要：并不是每個(gè)人都準(zhǔn)備好接受永不遺忘的聊天機(jī)器人。

ChatGPT的記憶功能通過(guò)利用之前對(duì)話中的上下文信息，為用戶提供更個(gè)性化的回答。

例如：記者M(jìn)egan Morrone曾要求ChatGPT提供素食餐單，但不包含扁豆。從那以后，聊天機(jī)器人就記住了她不喜歡扁豆。

最初的記憶功能像是私人備忘錄，需要你主動(dòng)寫下。

而現(xiàn)在，它變得更「懂你」——甚至能自動(dòng)記錄你在不同對(duì)話中的行為和偏好。

OpenAI個(gè)性化負(fù)責(zé)人Christina Wadsworth Kaplan告訴媒體，今年的重大更新就是讓「記憶更自然、更自動(dòng)」。

她還分享了一次親身經(jīng)歷：

有次她準(zhǔn)備出國(guó)旅游，ChatGPT基于她過(guò)去上傳的健康記錄，主動(dòng)在推薦疫苗清單里多加了一種疫苗。

護(hù)士看過(guò)后點(diǎn)頭認(rèn)可。

這才是真正的「AI很懂你」。

新型AI社死與網(wǎng)絡(luò)創(chuàng)傷

但并非像OpenAI承諾的那樣美好，「記憶」功能背后也有問題。

比如，它可能會(huì)突然提醒：「你不是不吃扁豆嗎？」

或者，它隨口提到你幾個(gè)月前說(shuō)過(guò)的傷心事。

有時(shí)，這種「AI的長(zhǎng)記性」會(huì)讓人心里發(fā)毛。

在2024年2月，OpenAI首次公布該功能，當(dāng)時(shí)承諾：諸如健康信息等敏感內(nèi)容，ChatGPT會(huì)克制，除非用戶明確要求。

但你信嗎？沒錯(cuò)，現(xiàn)在你可以直接告訴它：「記住這件事。」或者反過(guò)來(lái)說(shuō)：「別記住這個(gè)。」AI會(huì)遵守你的指令。

如今的ChatGPT的「記憶」功能，會(huì)自動(dòng)記錄之前的聊天內(nèi)容，用來(lái)理解用戶的偏好和背景。

這是個(gè)性化系統(tǒng)，涉及到的不僅是隱私問題，更尷尬的事情也不少。

Megan Morrone讓ChatGPT根據(jù)記憶生成一張她自己的形象。

結(jié)果AI畫像中，出現(xiàn)了婚戒——可她早已對(duì)婚姻失望透頂了。???

記憶不是越久越好，尤其當(dāng)它來(lái)自無(wú)法控制的機(jī)器。

持久記憶還可能讓聊天機(jī)器人變「無(wú)所不知」，從而減少用戶對(duì)大語(yǔ)言模型（LLM）的控制。

開發(fā)者Simon Willison上傳了狗狗的照片，請(qǐng)ChatGPT給它P個(gè)鵜鶘裝，結(jié)果圖上還加了個(gè)「Half Moon Ba」的牌子。

AI解釋說(shuō)：「因?yàn)槟阒疤岬竭^(guò)這個(gè)地方。」

他氣笑了：「我不希望我對(duì)狗穿奇裝異服的愛好，干擾我未來(lái)想認(rèn)真工作的提示詞啊！」

AI有了永久的記憶，卻忘了生活本身就該有選擇性遺忘。

你以為只是技術(shù) bug，其實(shí)背后藏著兩類讓人發(fā)毛的問題：

（1）無(wú)意的算法殘忍（Inadvertent Algorithmic Cruelty）；

（2）上下文崩塌（context collapse）。

無(wú)意之失：算法的殘忍

大概十年前，博主Eric Meyer提出了「無(wú)意的算法殘忍」這一術(shù)語(yǔ)。

那天下午，悲傷卻不期而至，而這一切竟要?dú)w功于一群設(shè)計(jì)師和程序員——此刻，這些臉書幕后的創(chuàng)作者或許正沉浸在成就感中。

他們?yōu)椤改甓然仡櫋箲?yīng)用傾注心血，的確值得驕傲——無(wú)數(shù)用戶借此分享年度高光時(shí)刻。

但過(guò)去一年非常艱難，他不愿意制作個(gè)人回顧。

動(dòng)態(tài)頁(yè)里不斷涌現(xiàn)他人制作的回顧卡片，幾乎都配著默認(rèn)文案：「這是精彩的一年！感謝有你參與。」

單是看到「精彩」這個(gè)形容詞，就足以令他不適：這個(gè)詞與他毫不相干。

直到他的首頁(yè)突然跳出他女兒微笑的照片，慫恿他也創(chuàng)建一份：「Eric，這就是你的年度回顧！」

就是在這一年，他的女兒因癌癥去世，當(dāng)時(shí)早已不在人世。

是的，這就是他的「年度后顧」。千真萬(wàn)確。就是這一年，就是他的女兒再也見不到的面容，在提醒他要年度回顧！

提醒如此生硬，實(shí)在殘忍。

這不是蓄意的傷害，他當(dāng)然理解。

這種「無(wú)心的算法暴力」，源于一套代碼——在絕大多數(shù)情況下，它運(yùn)行良好，提醒人們回顧自己「精彩」的一年，展示大家在派對(duì)上的自拍、游艇邊看到的鯨魚噴水、度假屋外的碼頭風(fēng)景。

但就在同一年，有人失去至親，有人在醫(yī)院度過(guò)漫長(zhǎng)時(shí)光，有人遭遇離婚、失業(yè)或其他生活危機(jī)……

或許，他們并不想再回望這一年。

將已故女兒的面容展示給他，還再一旁說(shuō)「這是今年的你！」——此情此景，誰(shuí)都會(huì)感到不適。

是個(gè)人，就覺這不對(duì)。

如果出自真人之手，那確實(shí)就是錯(cuò)的。但來(lái)自代碼，只能說(shuō)是不幸。而且這些問題難以解決，真的很難。

這并非簡(jiǎn)單的任務(wù)，算法很難判斷一張照片收獲無(wú)數(shù)點(diǎn)贊，究竟是因?yàn)榛尚ΑⅢ@艷絕倫，還是令人心碎？

本質(zhì)上，算法沒有「心眼」，甚是「無(wú)腦」。它們按照設(shè)定的流程運(yùn)行，一旦啟動(dòng)，便不再思考。

說(shuō)一個(gè)人「缺心眼」，通常是一種輕慢或侮辱。然而，人類卻讓這么多真正「缺心眼」的算法流程，肆意侵入用戶的生活，甚至反噬自身。

真正的智能，不只是「記住你說(shuō)過(guò)的每一句話」，而是「懂什么才是你的傷心事」。

上下文崩塌

Willison遇到的問題是算法系統(tǒng)中另一種常見的現(xiàn)象，叫做「上下文崩塌」(context collapse)。

這指的是用戶在不同領(lǐng)域（工作、家庭、愛好等）中的數(shù)據(jù)被混在一起，模糊了它們之間的界限。

像許多學(xué)術(shù)概念一樣，「context collapse」并不是某個(gè)人靈光一現(xiàn)的產(chǎn)物，而是在不斷的交流碰撞中，慢慢浮現(xiàn)。

但不斷有學(xué)界人士寫信給danah boyd，詢問她是否創(chuàng)造了「上下文坍塌」（context collapse）一詞，因此她回過(guò)頭查閱自己的記錄以弄清楚這個(gè)問題。

danah boyd（達(dá)娜·博伊德）：微軟研究院首席研究員兼Data & Society研究所創(chuàng)始人及主席。她的研究關(guān)鍵詞包括：隱私、人口普查、語(yǔ)境、算法、公平、正義

2001年，她開始在MIT攻讀碩士。

于是在2002年，她寫了一篇碩士論文，題為《Faceted Id/entity》，深受Erving Goffman和Joshua Meyrowitz思想影響。

在那篇論文中，她花了整整一章反復(fù)討論「collapsed contexts」，盡管當(dāng)時(shí)并沒有系統(tǒng)地定義這個(gè)詞。

整篇論文其實(shí)就是在探討：在不同的語(yǔ)境中，如何構(gòu)建和管理身份。

論文鏈接：https://www.danah.org/papers/Thesis.FacetedIdentity.pdf

她尤其熱愛Meyrowitz的那本《No Sense of Place》。這本書剖析了媒體如何影響人際互動(dòng)，揭示了人們?nèi)绾卧诙嘀厥鼙娭g周旋的困境。比如，一張假期照片被不同人看到后產(chǎn)生的錯(cuò)位理解。

中譯本為《消失的地域》，著重研究了新的信息流動(dòng)模式對(duì)社會(huì)行為的影響。作者繼承了場(chǎng)景理論和媒介理論，提出了將面對(duì)面的交往研究與媒介研究聯(lián)系在一起的切入點(diǎn)：社會(huì)「場(chǎng)景」結(jié)構(gòu)。

在2003-2004年，她做過(guò)幾場(chǎng)講座。在幻燈片里面。她把「collapsed contexts」一詞應(yīng)用到了Friendster社交平臺(tái)，用來(lái)描述不同小眾文化意外交集的現(xiàn)象。

在某些講稿筆記中，偶爾她也把「collapsed contexts」簡(jiǎn)化成了「context collapse」，但大多數(shù)時(shí)候，還是用原來(lái)的說(shuō)法。

一直到2005—2008年，她發(fā)表的一些文章依然在用「collapsed contexts」。比如她的博士論文把「語(yǔ)境坍塌」作為核心概念。

論文鏈接：https://www.danah.org/papers/TakenOutOfContext.pdf

2009年，她開始和Alice Marwick合作。

Alice E. Marwick：北卡羅來(lái)納大學(xué)教堂山分校（University of North Carolina at Chapel Hill，UNC）傳播學(xué)系副教授、信息、技術(shù)與公共生活中心（CITAP）聯(lián)合創(chuàng)始人兼首席研究員。她專注于社交媒體技術(shù)的社會(huì)文化影響研究，主要學(xué)術(shù)貢獻(xiàn)包括：網(wǎng)絡(luò)媒體操縱與虛假信息、微名人現(xiàn)象（micro-celebrity）、網(wǎng)絡(luò)隱私、語(yǔ)境崩塌（context collapse）。最新著作：《私域即政治：網(wǎng)絡(luò)時(shí)代的隱私與社交媒體》（耶魯大學(xué)出版社，2023年5月出版）

Alice對(duì)「collapsed contexts」和「想象中的受眾」很感興趣，也她從「微名人」角度對(duì)這些觀點(diǎn)提出了挑戰(zhàn)。

Alice收集了大量Twitter用戶如何管理受眾的資料。

后來(lái)，利用這些數(shù)據(jù)，她們發(fā)表了一篇文章。

這是第一次在正式出版物中使用「context collapse」這個(gè)表達(dá)。

具體是怎么從「collapsed contexts」變成「context collapse」，danah boyd也記不清了。

與此同時(shí)，2009年Michael Wesch也發(fā)表了一篇文章，題目中也出現(xiàn)了「Context Collapse」這一術(shù)語(yǔ)。

雖然都在媒體研究圈活動(dòng)，但他們應(yīng)該不是直接引用彼此的作品，而是都在同一片理論土壤中生根發(fā)芽。

如今，當(dāng)談起「context collapse」時(shí)，danah boyd經(jīng)常會(huì)提到Meyrowitz。

雖然這個(gè)術(shù)語(yǔ)并非他提出的，但正是他的理論，讓danah boyd意識(shí)到了這種現(xiàn)象的重要性。

總結(jié)

ChatGPT的記憶讓AI更像一個(gè)有個(gè)性的助手——它能記住你的喜好、經(jīng)歷、健康狀況，甚至你的笑點(diǎn)。

但這也意味著：

它可能說(shuō)出你不愿被提醒的往事；

可能誤解你某一時(shí)刻的心情為永久偏好；

甚至讓人覺得：「它知道得太多了。」

所以，真正的挑戰(zhàn)，不是讓AI記住你——而是讓你有權(quán)決定，它記什么、怎么記、記多久。

歡迎來(lái)到AI的「永久記憶」時(shí)代。

但別忘了，你才是記憶的真正主人。

請(qǐng)記住，你總是可以對(duì)AI說(shuō)「別記住」。

參考資料：

https://www.axios.com/newsletters/axios-ai-plus-cc128fe8-9e1b-42ca-8c75-b681425dca55.html

https://meyerweb.com/eric/thoughts/2014/12/24/inadvertent-algorithmic-cruelty/

https://www.zephoria.org/thoughts/archives/2013/12/08/coining-context-collapse.html