Building Machines that Learn and Think with People

構建與人類共同學習和思考的機器

https://arxiv.org/pdf/2408.03943

摘要

我們希望從機器智能中獲得什么？我們設想的機器不僅是思維的工具，更是思維的伙伴：合理、有洞察力、知識豐富、可靠且值得信賴的系統，它們能與我們共同思考。當前的人工智能（AI）系統在某些時候滿足了這些標準中的部分要求。在這篇觀點文章中，我們展示了如何運用協作認知的科學來設計真正可以稱為“思維伙伴”的系統，這些系統旨在滿足我們的期望并彌補我們的局限性。我們列出了人類與AI思維伙伴可以參與的幾種協作思維模式，并提出了適用于人機兼容的思維伙伴關系的理想特征。借鑒計算認知科學中的概念，我們提出了一種替代性的擴展路徑，用于設計思維伙伴及其使用生態系統，通過貝葉斯視角來看待這個問題：我們構建的伙伴應主動建立并推理關于人類和世界的模型。

1 引言

長期以來，計算機一直被視為思維的工具。史蒂夫·喬布斯曾將計算機稱為“大腦的自行車”：一種能極大提高思維效率、生產力和樂趣的工具。三十年后，這一比喻正在發生變化。計算機系統越來越多地被稱為“副駕駛”：我們已經從設計思維工具轉向了真正的思維伙伴。

當前一波人工智能技術，特別是語言模型，加速了這種轉變。用戶不再需要懂得編寫代碼才能與計算機深入互動；我們現在可以通過自然語言作為媒介進行交互。人類本身就已經習慣于獨自和與他人一起思考，而這種交流通常通過語言實現。我們早已如此——通過提問和辯論發展新的思維方式，通過語言進行教學和學習。這些新系統的明顯力量——越來越接近該領域早期所設想的那種人工智能——以及當前版本所面臨的挑戰，促使我們思考：要構建真正有效的思維伙伴，我們需要做些什么？

我們認為，優秀的思維伙伴是那些（1）能夠理解我們、（2）我們可以理解、（3）對世界具有足夠理解能力、從而讓我們可以在共同基礎上進行互動的系統。

構建此類思維伙伴的一種路徑是擴大基礎模型（例如大語言模型LLMs），利用大量的人類示范和反饋，以及從網絡規模數據中提取的“人類思維痕跡”。盡管這種方法已經產生了能夠準確模仿人類行為的系統（例如生成流暢文本），但這些機器并未以一種穩健的方式模擬人類的認知過程（例如明確地推理世界或其他心智），而這正是真正的思維伙伴所應有的表現。

要設計出符合我們標準的系統，還需要什么呢？一條有前景的路徑是設計能夠顯式構建任務、世界和人類模型的系統（這些模型是有結構的，而不是單純從數據中分布性地學習而來），并借鑒認知心理學中的形式化框架來理解人類如何獨立和協同思考。在這篇觀點文章中，我們描繪了一個全新的AI思維伙伴設計愿景。幾十年來行為科學的研究為設計以人為本、具備不確定性意識的思維伙伴提供了寶貴的見解。基于這些研究，我們認為，有效的思維伙伴是那些能夠構建關于人類和世界的模型的系統。

這個工具包包括基礎模型，但不僅限于此。事實上，像LLM這樣的基礎模型正推動著以計算方式重新思考人類心智的新范式（例如“理性意義建構”），并與概率編程、目標導向搜索以及其他顯式的、結構化的表示方法（例如一個智能體對另一個智能體的思考）相結合。我們已經擁有可以幫助我們構建像人類一樣學習和思考的機器的工具。我們建議將這套工具應用于協作認知——去構建能與人類一起學習和思考的機器。

2 什么是思維伙伴？

當我們思考時，我們會做出連貫的推理，進行預測，并基于這些預測采取行動——從評估該送給珍視的朋友什么樣的生日禮物，到提出一個新的科學假設并制定實驗計劃來驗證某個理論。我們靈活地運用已有的知識，并通過經驗來更新我們的信念（我們將在下文進一步討論這一點）。我們不僅解決現有問題，還能夠構想出新的問題。而且，我們也會一起思考。幾代以來，人類一直在討論和辯論各種思想，并建立了傳播這些思想至新受眾的生態系統。許多科學創新都源于協作，而這些進展往往來自于與那些既帶來新想法又與我們擁有共同價值觀的多元合作伙伴之間的互動。

2.1 協作思維的模式

為了說明人與機器可以彼此協作思考的多種方式，我們列舉了幾種協作思維的模式（見表1）。這些模式部分受到心理學中對思維和推理方式的描述的啟發，但并不旨在涵蓋思維的所有方面。相反，我們認為這些模式非常適合進一步發展人工智能思維伙伴。

2.2 示例領域

接下來，我們概述了一些可能特別有價值、需要開發能夠真正與人類協作的人工智能思維伙伴的多樣化領域（見圖1）。我們強調了在考慮每個領域中有效合作可能是什么樣子時所面臨的共同計算挑戰，為后文提出的理想特性做鋪墊。之后我們將通過具體的人本思維伙伴實例回到這些案例研究。

編程領域的思維伙伴 編程是一項認知要求很高的活動，它需要掌握將人類意圖轉化為形式化、可被機器解釋的語言的能力。幾十年來人們一直致力于設計輔助編程的工具也就不足為奇了。像GitHub Copilot這樣的新“編程助手”工具迅速獲得了巨大的人氣和關注；然而，這些工具往往并不可靠，例如無法理解用戶的意圖，并可能生成錯誤代碼，這對初學者來說尤其具有風險。編程遠不止是提供準確的內聯代碼建議——而這正是目前GitHub Copilot所擅長的。人類會進行抽象規劃、結構決策，并通過協作學習，因此我們需要能夠回答我們問題的合作伙伴——比如為什么代碼如此運行或為何無法正常工作。一個良好的協作編程伙伴不僅要理解編程語言，還要理解其搭檔程序員，推斷并推理我們的總體意圖，并適應我們知道和不知道的內容。

具身協助領域的思維伙伴 確保具身代理（embodied agents）能夠形成準確且物理上可行的計劃，是我們可以信任的有效協助的基礎——從猜測朋友做飯時想要什么，到與有不同身體能力的人合作，再到執行高風險的搜救任務。雖然當前關于具身AI和輔助機器人系統的大量研究集中在學習特定技能或遵循簡單指令上，評估結果表明，即使是基于大量人類反饋微調的最先進語言模型，在面對需要可靠、有效的新型目標規劃任務時仍存在困難。相反，理想的輔助伙伴應能將我們的行為、言語和指令理解為基于物理可能性的目標、信念和意圖的表達，同時理解這些意圖可以在多個心智之間共享。此外，有效的伙伴還應考慮到彼此在感知、規劃和世界建模方面的局限性，糾正可能的錯誤，并以使自己的意圖更易于理解的方式行動。

敘事創作領域的思維伙伴 另一個我們可能需要思維伙伴的領域是講故事——無論是作家、電影制作人，甚至科學家。講故事是一個復雜而迭代的認知過程，為思維伙伴提供了大量機會，使其能夠與人類一起構思創意，從頭腦風暴新點子、生成故事情節，到改善寫作風格和語氣。要讓這個過程富有成效，一個思維伙伴不僅需要理解我們的創作意圖和傾向，還需要理解我們所面向的受眾（即理解社會世界），包括受眾的期望以及他們對我們所創作故事的可能解讀。

醫療健康領域的思維伙伴 醫生需要在面對新的醫學證據時進行意義建構、制定計劃、進行判斷并不斷學習。一位全科醫生的行為其實很像夏洛克·福爾摩斯——他們整合各種零散的證據與先驗信念，在不確定性中做出決策。然而，醫生很少有足夠的時間深入接觸每位患者，這導致了高比例的職業倦怠，并進而影響了護理質量。我們能否開發出安全、可靠的思維伙伴，幫助醫生節省時間，從而更好地與患者溝通？事實上，基礎模型已經在醫學評估方面展現出相當熟練的能力，似乎有能力通過協助和合作減輕醫生的沉重負擔，甚至向患者提供更優的回答。然而，尚不清楚這些系統是否真正理解我們（以及我們的認知限制）、理解這個世界（背后的生物學機制），并且是否讓我們能夠理解它們（在此背景下，這一點對于透明性和可靠性尤為重要）。

2.3 理想特性

那么，我們希望思維伙伴具備哪些特質呢？對于思維工具而言，當然有很多相關標準：效率、準確性、魯棒性、公平性、成本、可擴展性等。但上述領域揭示出，思維伙伴的獨特之處在于它與用戶的關系。借鑒行為科學的觀點，我們提出三個指導以人為本的思維伙伴設計的理想特性：

1. 你理解我：我們希望思維伙伴能夠理解我們的目標、計劃、（可能是錯誤的）信念以及資源限制，結合過去和現在對我們的觀察，以便在未來更好地與我們協作。例如，一個思維伙伴應該能夠在與專家、外行或兒童合作時自適應地調整策略，與我們處于同一水平。

2. 我理解你：我們希望思維伙伴以一種對我們來說清晰易懂的方式行動，并以我們直觀理解的方式來與我們交流。

3. 我們都理解這個世界：我們希望思維伙伴扎根于現實。這意味著它們要準確且知識豐富，同時擁有與我們共享的世界、領域或任務表示。此外，我們使用“我們”這個詞強調：思維伙伴關系本質上是一種協同關系，其效果應超越個體之和。

3 構建以人為本的思維伙伴

我們的核心觀點是：上述三項理想特性（desiderata）可以被明確地工程化實現，而這應基于來自計算認知科學和認知啟發式人工智能（AI）的理論范式（總結見表2），而不是僅僅作為在為其他目標訓練的系統中隱含出現、可能脆弱的特性。在這里，我們提出一個構建思維伙伴的框架，旨在穩健且明確地使其發揮合作與協作的作用。

人類遠非同質化的、完全理性的“預言家”，但我們也并非如此不可預測，以至于對人類行為建模毫無希望。我們認為，將人類的認知與選擇解釋為在給定目標和限制條件下所做出的近似最優解的模型，為設計思維伙伴提供了一個理想的起點。并且，貝葉斯形式化方法提供了一種概率上合理、通用的概念語言，有助于不同學科之間的交流與融合。

3.1 實現我們的理想特性

要構建滿足這些理想特性的真實系統需要什么？首先，我們認為，一個真正“理解我們”的思維伙伴應該顯式地將其人類合作者建模為一個具有結構化內在信念、知識和目標的合作代理，并承認其基本的資源限制。其次，構建一個“我們可以理解”的思維伙伴，可以從人類如何建模他人這一角度出發：正如一個好的人類合作者會學習并適應其搭檔的優勢、缺陷和計算能力邊界一樣，我們也可以構建出能夠推理自身行為對另一代理產生的計算負擔的機器思維伙伴，從而更準確地預測其行為。

最后，為了構建那些“理解世界”、并與我們一起協同學習與思考的思維伙伴，我們認為有必要建立基于結構化的計算工具包，將共享目標和溝通機制扎根于協作所發生的環境和領域之中。

3.2 計算認知科學中的關鍵范式

接下來，我們將簡要介紹（非窮盡性）幾個關于“建模人類”、“人類如何建模他人”，以及“人類如何建模世界”的計算認知科學中的關鍵洞見——這些被稱為“范式”（motifs），它們有助于逆向工程人類心智（見表2），我們認為這些洞見對構建以人為本的思維伙伴具有重要指導意義。雖然我們承認認知科學領域中某些群體可能不同意其中一些理論，但我們強調，這些范式的計算基礎在實際構建思維伙伴方面具有巨大的工程潛力。

概率認知模型 幾十年來計算認知科學的研究表明，將人類認知的某些方面建模為貝葉斯推理——通過結構化的概率生成式世界模型——具有強大的解釋力。這些方法在捕捉廣泛的人類認知現象方面取得了實證上的成功，包括早期詞匯學習、視覺感知、物理推理、概念學習、語言處理與習得、兒童和成人的因果推理、記憶重構以及理論形成等多個方面。

基于概率的認知模型，尤其是采用貝葉斯方法構建的模型，為捕捉快速信念更新過程提供了有原則的形式化框架，并揭示了我們如何將常識性世界知識與新證據相結合，以指導我們在現實世界中的行動與決策。尤其是在結構化表示基礎上進行的概率推理（特別是借助貝葉斯建模和元級馬爾可夫決策過程等工具），為人類如何靈活地進行規劃提供了計算解釋，展示了人類如何在不同時間尺度上形成豐富的層次化目標與子目標。

心智理論與溝通 在我們構建協作認知系統的過程中，一個重要的指導方向是：貝葉斯方法在建模我們如何推理他人心理狀態以及如何進行交流方面的成功應用。特別是，對“心智理論”（Theory of Mind, ToM）的貝葉斯建模，很好地解釋了我們如何快速推理彼此的信念、欲望、目標和意圖。

我們可以為自己思維伙伴建立心理模型，而這種模型反過來可以支持溝通與協作，幫助我們教學、判斷是否應依賴某位伙伴提供幫助，并實現對新對話伙伴的快速、靈活適應。我們特別關注“理性言語行為”（Rational Speech Act, RSA）框架，該框架將交際雙方建模為相互遞歸推理對方心智的過程，從而決定說什么（從說話者的角度）或如何解讀收到的話語（從聽者的角度）。貝葉斯模型為形式化這種復雜的跨主體推理提供了一個有用的框架，使得社會認知和溝通可以用相同的計算工具集進行建模。

資源合理性與可行的理論構建 人腦也有諸如時間、記憶和注意力等有限資源，這些資源決定了我們會思考什么、思考多久，甚至如何向他人傳達我們的想法。因此，我們有時會做出系統性的偏差推斷。這類“錯誤”的判斷可以通過將人類建模為對其有限資源的合理使用來解釋，例如通過近似推理或受限規劃。

關鍵在于，人類認知是可行的（tractable）。事實上，我們可以在龐大甚至可能是無限的假設空間中構建關于世界的理論：這一過程似乎需要某種啟發式和近似方法，而這些方法可能是資源合理的。有一種建模心智的方法認為人類是“世界模型的建構者”（或“黑客”）——通過實驗不斷更新我們對世界壓縮表示的信念，而這些表示可以用程序的方式表達出來。這種表示方式——結合程序合成等工具——有助于探索非最優行為。

3.3 通過概率編程擴展思維伙伴

如果貝葉斯式的思維伙伴要對它們的人類搭檔和世界進行推理，那么這些模型就必須隨著新事實的出現，以及人類自身專業知識、信念和需求的成長而不斷演化。概率編程為此類豐富模型的構建、擴展和推理提供了一種強大方法。

例如，概率程序可以從數據中學習，也可以通過編碼豐富先驗知識的大語言模型（LLMs）來合成。概率程序還能夠在與人類常識和領域知識一致的世界模型中實現快速近似推理，且所學模型本身也便于人類模塊化檢查和編輯。

現代概率編程語言不僅支持通用推理，還支持可編程推理（programmable inference），即它們能自動完成優化、動態規劃和蒙特卡洛推理等方法的數學運算。雖然這類框架肯定不是唯一能夠處理不確定性并構建有效、穩健思維伙伴的方法，但我們相信，它們是一種有前景且符合認知原理的路徑，我們將在后續的案例研究中進一步探討這一點。

3.4 思維伙伴周圍的基礎設施

設計能夠與人類一起學習和思考的系統，不僅需要精心構建思維伙伴本身（即機器），還需要構建一個人類與計算思維伙伴可以協作的基礎設施環境。諸如“在什么時間、什么場景下人類應能接入一個計算思維伙伴，以確保其有效和適當的使用？”或者“針對某一特定問題，在考慮各自的優勢與劣勢、任務成本以及特定的思維方式的前提下，是由人類還是由計算思維伙伴率先發起更合適？”這類問題將直接影響圍繞思維伙伴關系的工作流程設計。

這種社會技術生態系統（sociotechnical ecosystem）可能受到外部法規、組織實踐或其他原則的約束，并應以對人類行為的研究為關鍵指導依據。例如，《歐盟人工智能法案》（EU AI Act）第14條規定，高風險人工智能系統的使用者必須“正確解讀該AI系統的輸出”，并“始終保持對自動依賴或過度依賴輸出的可能性的警覺”。要滿足此類要求，不僅需要精心設計思維伙伴本身（例如確保我們可以理解它們），還必須仔細設計圍繞思維伙伴關系的可供性系統（affordances）與基礎設施（例如向人類反饋有關他們依賴策略的信息）。

將思維伙伴與其周圍基礎設施區分開來，有助于建立一個模塊化的框架，用以應對非預期的思維伙伴關系行為，例如過度依賴（overreliance）和“理解幻覺”（illusions of understanding）。貝葉斯建模已經在推斷人類的依賴策略，以及識別人類與機器可相互補充的任務空間區域方面取得了成功應用。

4 構建思維伙伴的案例研究

我們現在回到之前介紹的幾個示例領域，并討論具體的案例研究（如圖2所示）。我們的目標是展示：為思維伙伴配備關于人類和/或世界的結構化概率模型所帶來的潛在優勢，并初步探討圍繞它們可能產生的基礎設施問題，以確保我們構建的思維伙伴真正能夠與人類協同工作。

4.1 編程領域的思維伙伴

我們曾提出一些關于有效編程伙伴關系的設想，例如一個能回答“為什么”問題的伙伴。Chandra 等人的一項最新研究提出了一種思路：使用貝葉斯工具以類人方式解釋計算機程序中令人驚訝的行為。

Chandra 等人應用了心智狀態推理和理性溝通的貝葉斯模型，設計了一個名為 WatChat 的系統，該系統可以以有原則、類人的方式回答諸如“為什么程序 p 輸出了結果 r？”之類的問題。WatChat 推斷出可能導致程序員預期不同的錯誤心智模型（即思維伙伴理解用戶），并生成一個“調試”這種心智模型的解釋（即用戶理解思維伙伴）。

WatChat 將可能的心智模型本身表示為“程序”，其“bug”對應于可能的誤解；因此，這些心智模型可以通過貝葉斯程序合成來推斷（見表2）。這樣的框架也可以反過來用于幫助教師或自主學習者設計新的問題，以識別誤解。

4.2 具身協助領域的思維伙伴

回想一下在不確定任務中協作規劃的挑戰，從搜救任務到日常烹飪，我們通常希望從合作伙伴那里推斷出共同目標和交流意圖。這種合作邏輯可以通過一種稱為 CLIPS（Cooperative Language-Guided Inverse Plan Search，合作語言引導下的逆向計劃搜索）的貝葉斯架構進行建模。

通過將人類建模為使用語言傳達聯合計劃的合作規劃者，CLIPS 能夠從人類合作者的動作和指令中推斷出這些計劃和目標。這使得 CLIPS 能夠根據上下文對請求可能具有的多種含義進行消歧，務實地遵循人類指令，同時主動協助實現指令背后的目標。

例如，當聽到“你能不能在我揉面的時候準備蔬菜？”這樣的指令時，CLIPS 可以推斷出制作披薩這一共享目標。這些能力的實現得益于使用**概率編程基礎設施**，將貝葉斯逆向規劃算法、人機對齊方法與大語言模型（LLMs）結合起來。

特別地，通過使用 LLM 來評估給定某種意圖下自然語言指令的概率，CLIPS 能夠以一致的貝葉斯方式從自然語言中推斷意圖——展示了貝葉斯思維伙伴工具包中各種工具組合的力量。

4.3 敘事創作領域的思維伙伴

講故事是一種“創造體驗”的過程。我們是否也能運用這套工具，從第一性原理出發幫助故事創作者設計體驗？最近的研究表明，基于貝葉斯心智理論的系統不僅可以預測，甚至可以設計影響觀眾故事體驗的干預措施。

Chandra 等人將講故事視為“逆逆規劃”（inverse inverse planning）：即從人類社會認知出發，將其建模為貝葉斯逆向規劃過程，然后優化敘事事件以隨時間塑造模型的推理。

他們展示了多種講故事技巧——從情節轉折到啞劇表演——都可以用“逆逆規劃”的語言表達出來，從而創造出對觀眾具有特定認知效果的動畫作品。

在此我們也強調了思維伙伴在媒體領域的廣泛適用性，盡管該框架也為許多自然擴展提供了思路，例如將其集成到創意寫作輔助工具中。

4.4 醫療健康領域的思維伙伴

最后，我們設想醫療思維伙伴既能“理解我們”——即對醫生、患者和護理團隊作為具有目標、信念和擔憂的智能體進行推理，又能“補充我們的能力”——整合超出我們認知容量的大量醫學證據，以支持診斷和治療決策。

雖然目前尚無系統完全滿足我們提出的理想特性，但我們相信，貝葉斯思維伙伴工具包中的多種范式和工具可以在協同意義建構與判斷方面支持此類系統的開發。

我們可以設想一種貝葉斯式的醫療思維伙伴，它可以根據生物學領域的新發現更新其醫學世界知識，例如修改底層概率世界模型的代碼片段，或在非參數層次貝葉斯模型中擴展其表示。這樣的模型還可以像 WatChat 一樣，合成新問題，以確保醫生自身的醫學世界模型是健全的。

早期研究表明，我們可以利用工具包中的元素，特別是**概率編程**，來學習腫瘤學中的豐富生成模型，并支持高效的用戶查詢。然而，有效的醫療思維伙伴還需要對其部署環境有一個更廣泛的生態系統視角。

如果醫生過度依賴思維伙伴的輸出，或在面對大量患者咨詢時負擔過重，那么圍繞人類與思維伙伴的基礎設施就可以調節：何時將患者咨詢路由給人類，何時交給 AI 思維伙伴處理，或者何時需要協同規劃。已有基于概率建模的路由系統在模擬環境中展現出成功潛力。

5 展望未來

在探索何時以及如何構建適用于不同協作思維模式的“思維伙伴”方面，仍有許多令人興奮的工作亟待開展。這些工作將推動人類與機器共同傳播和創造新知識的能力向前發展。接下來，我們列出了研究人員和設計者在致力于構建以人為本、能與人類一起學習和思考的機器過程中所面臨的一些關鍵挑戰。

5.1 非二元交互場景（Non-Dyad Settings）

盡管目前還有大量工作需要深入研究單一人類與單一AI思維伙伴之間的互動空間（即“二元”交互），但我們展望一個更加復雜的未來：多個人類與多個機器之間，在日益復雜的社會系統中扮演不同角色、具備不同專業能力的情況下進行思想層面的協作。

如今，研究人員已經在探索上述許多協作思維模式和案例研究的“非二元”版本，例如由AI思維伙伴協助的多人協同學習，以及在醫療機器人避障系統中需同時考慮多個用戶的情境。

與二元交互類似，向非二元交互擴展的研究也可以通過更深入理解群體中的人類行為來增強——這正是貝葉斯思維伙伴工具包的擴展方向之一，相關研究已在社會規范形成等領域初見成效。

展望未來，“公民科學”（citizen science）是一個極具前景的例子，展示了構建大規模人類與思維伙伴網絡的潛力。例如，Zooniverse 是一個大規模星系分類眾包項目，它為研究智能任務分配、融合人類與機器分類結果、以及影響人類參與度和表現的基礎設施變化提供了案例研究平臺。該項目不僅推動了科學成果的迭代進步，還促成了意外的科學發現。

5.2 評估方法

對思維伙伴的評估需要一套多維度、跨學科的方法體系。至少而言，AI思維伙伴的評估必須包含某種形式的交互性。近期研究已經指出，僅依賴靜態方式評估基礎模型存在明顯不足，這表明我們不僅需要關注最終輸出，還需考慮整個交互過程、第一人稱視角，以及超越“質量”的偏好概念。

除了交互式用戶研究之外，我們認為，要研究適用于不同協作思維模式的多種思維伙伴類型，還需要一個受控但豐富的實驗環境；游戲（games）便提供了一個理想的領域。

游戲為研究多智能體間的重復交互提供了良好的形式化框架，并能在社交協作環境中探索豐富的思維模式。這種結構化的互動環境使我們能夠更好地理解協作動態、信任建立、意圖推理等關鍵問題，同時也為測試和比較不同類型的思維伙伴提供了統一基準。

5.3 風險與重要考量

計算型思維伙伴（computational thought partners）絕不是一種確定無疑或普遍有益的存在，它們伴隨著一定的風險。我們指出三個主要的風險領域：（i）依賴性、批判性思維與獲取途徑；（ii）擬人化；（iii）目標不一致。

首先，人工智能思維伙伴可能導致過度依賴，并妨礙批判性思維能力的發展[219,245–247]，有可能成為大腦的“類固醇”[248]。我們對這些風險表示擔憂；我們強調圍繞思維伙伴使用的基礎設施建設，正是為了幫助實踐者采取措施應對這些挑戰，并推動進一步設計改進，例如認知強制功能（cognitive forcing functions）的設計[249,250]。相反，也存在一些人可能對思維伙伴依賴不足的風險，尤其是當缺乏關于如何有效使用新型思維伙伴的AI素養培訓時[251–253]。已有研究表明，人們向AI系統提出的問題類型往往受到他們以往與聊天機器人互動經驗的影響[15]，這意味著來自低收入社區的學生、研究人員和其他從業者可能無法最大化地利用思維伙伴關系帶來的價值。因此，必須確保思維伙伴的好處不會僅限于特定群體。

其次，在擬人化（anthropomorphization）方面，我們強調一個重要的區別：以人類為中心的思維伙伴與類似人類的思維伙伴之間的差異[254]。我們的期望之一是“我理解你”，即倡導開發出行為可被我們理解的思維伙伴；然而，盡管這種理解可以借鑒我們對他人的理解方式，但我們應謹慎對待將機器思維伙伴像人類一樣解讀的做法。正如Weizenbaum[6]在ELIZA系統中所揭示的那樣，開發那些在某些方面表現得像人類但實際上并非如此的計算機系統存在風險：例如，引導用戶錯誤地賦予系統意圖，或者從長遠來看，導致社會低估人類智能[255]。類似人類的思維伙伴應當明確區分人類與機器，以防止過度依賴[245,256]，并在不侵犯任何伙伴自我價值的前提下促進人類尊嚴[257]。用來稱呼思維伙伴的術語會影響人們對它能力的理解（例如，“隊友”暗示了機器與人類處于平等地位），也可能削弱其類人性（例如，“工具”這一說法則較少具有擬人性）。

最后，我們注意到，如果模型不夠準確、魯棒性不足或缺乏認知基礎，可能會導致與人類的目標不一致，使原本旨在輔助的AI思維伙伴朝著錯誤的目標行動[258]、提供錯誤或誤導性的信息[259]，或違反安全約束[260]。采用貝葉斯式的思維方式可以在一定程度上緩解這些問題，通過考慮不確定性的決策來避免過度自信[223,261,262]。然而，雖然推斷人類思想和行為有助于設計更好的協作伙伴，但人類模型本質上具有雙重用途，也可能被用于誤導、監控或操控[263]。我們必須認真思考：這些思維伙伴是否真正與整個社會的價值觀保持一致？還是只是表面上迎合用戶，而實際上服務于更強大的利益集團[264]？

6 結論

如果我們希望構建有用且可靠的“人-AI思維伙伴關系”，我們主張在設計過程中明確承認并積極應對在一個常常不可預測的世界中人類思維的豐富性和多樣性。我們通過多個案例研究論證指出，從事思維伙伴及其使用基礎設施開發的工程師可以從計算認知科學和認知-AI領域的理念中受益。協作認知的未來充滿希望，但也伴隨著風險；在我們努力打造能夠真正與人類共同學習和思考的機器的過程中，行為科學家、AI從業者、領域專家及其他相關學科之間的持續合作與知識共享至關重要。

原文鏈接：https://arxiv.org/pdf/2408.03943