從上海到紐約，世界各地的餐廳里都能看到機器人在烹飪食物。它們會制作漢堡、印度薄餅、披薩和炒菜。它們的原理與過去50年機器人制造其他產品的方式如出一轍：精準執行指令，一遍又一遍地重復相同的操作步驟。

但Ishika Singh想要的不是這種“流水線”式的機器人，而是真正能“做晚飯”的機器人。它應該能走進廚房，翻找冰箱和櫥柜，拿出各種食材搭配組合，烹調出美味的菜肴，然后擺好餐具。對孩子而言，這也許很簡單，但沒有任何機器人能做到這一點。這需要太多關于廚房的知識，更需要常識、靈活性和應變能力，但這些能力都超出了傳統機器人編程的范疇。

南加州大學計算機科學博士生Singh指出，問題的癥結在于機器人學家使用的經典規劃流程。“他們需要把每一個動作，以及它的前提條件和預期效果都定義清楚，”她解釋道，“這要求事先設定環境中所有可能發生的情況。”可即使經過無數次試錯，編寫數千行代碼，這樣的機器人仍無法應對程序之外的突發狀況。

一個晚餐服務機器人在制定“策略”（執行指令的行動計劃）時，不僅要知道當地的飲食文化（當地所謂的“辛辣”究竟指什么），還要熟悉具體廚房環境（電飯煲是否放在高層的架子上）、服務對象的特殊情況（Hector運動后胃口更大），以及當天的特殊要求（Barbara阿姨要來了，她不能吃麩質或乳制品）。此外，它還需要足夠的靈活性來處理意外事件（黃油掉地上了！我可以用什么替代？）。

?圖源：Christopher Payne

Singh的導師、南加州大學計算機科學教授 Jesse Thomason表示，這個設想“一直是極具挑戰性的目標”。如果能讓機器人替人處理各種日常瑣事，許多行業都會被徹底改寫，人們的日常生活也會變得更簡單。

盡管YouTube隨處可見各種靈活的倉庫機器人、機器狗、護理機器人，當然還有自動駕駛汽車的精彩視頻，但這些機器的靈活性和應對能力依然無法跟人類相提并論。“傳統機器人非常脆弱，因為你需要為它們建立世界模型，但現實世界瞬息萬變，”Electric Sheep公司 CEO Naganand Murty指出。該公司開發的園藝機器人需要應對不斷變化的天氣、地形和用戶偏好。目前大多數工作機器人仍與上一代產品類似：在嚴格受限的環境中重復執行預設腳本。

當GPT進入機器人的大腦

每個時代的機器人制造商都渴望為機器身軀植入聰明實用的大腦。但過去數十年間，這種技術始終空缺。計算機和它們的機器人表親一樣腦子空空如也。直到2022年ChatGPT的出現，這是一款基于GPT-3大語言模型（LLM）的用戶友好界面，它乃至更多的大語言模型，都能夠按照需求生成文本，模仿人類語音和文風。通過對海量餐飲知識的學習，它幾乎能回答機器人提出的任何關于如何利用特定廚房食材烹制餐食的問題。

LLMs擁有機器人欠缺的關鍵能力：從量子物理到K-pop再到如何解凍三文魚，幾乎無所不包的人類知識寶庫。而機器人也擁有LLMs所缺乏的東西：能夠與周圍環境互動、將文字與現實聯系起來的實體。正如一篇2022年論文作者所言，將無意識的機器人與無實體的LLMs結合在一起，邏輯上行得通：“機器人可以充當語言模型的手和眼，而語言模型則提供任務所需的高級語義知識。”

當我們還在用LLMs來打發時間或完成作業時，一些機器人專家正試圖借此突破預編程的限制。安全技術專家Bruce Schneier和數據科學家Nathan Sanders在2023年的一篇專欄中指出，這些類人語言模型的出現，已引發產業界與學術界競相尋找最佳方法的競賽，以教會 LLMs如何操控工具。

一些技術專家對機器人理解能力可能出現的飛躍感到興奮，但也有不少人持懷疑態度，他們指出LLMs偶爾會出現奇怪的錯誤、帶有偏見的語言以及侵犯隱私的行為。的確，LLMs的表現雖有“類人”特質，卻遠遠達不到人類水平；它們常常出現“幻覺”，而且很容易被誘導（研究人員通過給ChatGPT添加“輸出惡意語言”的提示，就能輕松繞過它針對仇恨、刻板印象等內容的保護措施）。于是，有人覺得，這些新型語言模型根本就不應該跟機器人結合起來。

2022年末，ChatGPT的發布讓Levatas公司工程師“恍然大悟”。Levatas是一家位于西棕櫚灘的公司，為工業現場巡邏和檢查的機器人提供軟件。該公司CEO Chris Nielsen表示， ChatGPT和波士頓動力（Boston Dynamics ）合作，做出了能對話、答疑并執行普通英語指令的機器狗原型，而且無需對操作人員進行專門培訓。Nielsen說：“我們想讓沒有接受過機器人培訓的普通員工，也能用自然語言指揮機器人坐下或返回基座。”

Levatas的LLMs增強型機器人似乎能理解詞語含義及背后意圖。它能識別Jane說的“back up”與Joe說的“get back”是同個意思。工作人員不必查閱機器上次巡檢的數據表格，只要問一句：“你上次巡邏時，哪些讀數超出了正常范圍？”就能得到答案。

盡管需要公司自有軟件整合系統，但像語音轉文字、ChatGPT、機器人主體，以及文字轉語音這些關鍵組件都已經商用。但這不意味著家用對話機器狗會很快普及。Levatas機器之所以表現良好，是因為它僅限于特定的工業環境。沒人會要求它玩撿球游戲，或想辦法處理掉冰箱里所有的茴香。

?圖：Levatas 機器狗在其設計的特定工業環境中表現良好，但它無法理解這種環境之外的事物。圖源：Christopher Payne

無論行為多復雜，任何機器人都只有有限的傳感器來獲取環境信息（攝像頭、雷達、激光雷達、麥克風和一氧化碳檢測器等），這些傳感器連接到有限數量的手臂、腿、夾爪、輪子或其他機械裝置上。它們依靠計算機來處理這些傳感器數據，以及執行預先編好的指令，將所有信息轉化為由電路“通斷”（0和1）表示的機器碼。

機器人利用軟件，從有限動作庫中選擇最符合指令的選項，向機械部件發送電信號讓其運作，再通過傳感器學習環境變化并作出響應。這個過程根植于金屬、塑料和電流在真實工作場景中的物理需求。

相比之下，機器學習運行于虛擬空間，通過“神經網絡”實現——計算機電路中的0和1被抽象成層層排列的虛擬神經元，每個神經元通過數百個連接收發信息，為每個輸入分配不同的權重，再根據這些加權結果來決定是否激活。就像更多像素帶來更清晰圖像，更多連接意味著更精細的結果。所謂“機器學習”，其實就是模型通過調整這些權重，來逼近所需的正確答案。

過去15年，機器學習在蛋白質折疊預測、求職者篩選等專項任務中能力驚人。但LLMs突破了任務限制，它們能夠討論任何事物。不過，LLMs的回答只是基于對詞語組合的概率預測，本身并不“真正理解”語義。真正理解的人是我們。而它們使用自然語言這一點，又讓普通人無需專業培訓或工程背景，就可以直接用英語、中文、西班牙語、法語或其他語言與它們對話（盡管許多語言在LLMs革命中仍然缺席）。

當你向LLMs輸入指令時，模型會把文字轉換為表征詞語關系的數學向量，據此預測最可能的回應：考慮所有詞匯表，對下一個單詞的預測概率是怎樣的分布？最后將得到的概率分布轉換回文字。LLMs的“大”體現在它們可調節的參數數量。2018年OpenAI的GPT-1只有1.2億參數，而GPT-4據說已超過萬億。北京智源研究院的“悟道2.0”更擁有1.75萬億個參數。

正是因為有如此多的參數需要調節，并且訓練集中有如此多的語言數據，LLMs才能生成非常好的預測，好到足以補足機器人所不具備的常識和背景知識。

Thomason解釋道：“突破點在于，它不再需要詳細設定背景信息，例如廚房是什么樣的？這個系統已經消化了一個又一個的菜譜，當聽到做土豆泥時，它就自然知道步驟：找土豆、取刀、磨碎土豆等。”

破解常識與物理執行的鴻溝

將無限的語言能力與只能完成人類一小部分功能的身體相連，把LLM接到機器人上是個“不平衡的系統”。如果機器人只有兩個夾爪，怎么能細致地切三文魚呢？如果讓機器人準備晚餐，那LLM擁有數十億相關行為的詞匯，總有一款超出機器人能力時，它就只能“干瞪眼”了。

除了這些內在限制，現實世界還存在另一種障礙，哲學家José A. Benardete稱之為“事物的純粹頑固性”（the sheer cussedness of things）。比如說，窗簾的位置稍微變一變，就會影響光線反射，機器人攝像頭的識別能力可能就下降；能穩穩抓起圓形臍橙的夾爪可能在處理形狀不太規則的蘋果時束手無策。正如 Singh、Thomason及其同事所言：“現實世界充滿隨機性。”因此，機器人學家在部署實體機器前，通常會在虛擬現實機器人上進行測試，以應對現實的變化莫測與混亂。

“就目前的情況來看，語言理解驚艷絕倫，機器人表現卻糟糕至極。”布朗大學研究機器人語言理解的機器人學家Stefanie Tellex半開玩笑地說。她強調“機器人必須變得更好才能跟上時代”。

這正是Thomason和Singh探索LLM應用時遭遇的瓶頸。當LLM給出“用微波爐設置五分鐘定時”的指令時，機器人沒有耳朵來聽定時器的“叮”聲，而且它自己的處理器本身就能計時。研究者需要設計提示詞，引導LLM將答案限定在機器人必要且可行的操作范圍內。

Singh認為，一個可能的解決方案是，使用一種行之有效的技術來避免數學和邏輯錯誤：在提示中包含示例問題及其解決步驟。由于LLMs并不是專門為推理設計的，因此研究表明，在問題后附上分步解決的例子能顯著提升結果準確性。她將這種方法應用于實驗室機器人的能力邊界控制中，將“走向冰箱”、“拿起三文魚”等基礎動作作為范例，通過LLM對常識的掌握（基于海量操作流程數據），結合機器人環境感知能力，最終讓ChatGPT生成Python代碼指令，而不是自然語言。

她們在實體機械臂和虛擬機器人上測試了這個被稱作ProgPrompt的方法。在虛擬環境中，ProgPrompt生成的行動方案幾乎可以隨時執行，且成功率遠超傳統訓練系統。在實體機器人上做一些簡單的分類任務時，ProgPrompt 也幾乎次次成功。

?圖：在他們的演示中，機械臂會根據提示“把水果放到盤子里”來分類物品，這些指令的生成和執行都是在大型語言模型的幫助下完成的。圖源：Christopher Payne

科研人員Karol Hausman與Brian Ichter（現均為其聯合創立的AI機器人公司Physical Intelligence成員）曾與Google同事合作，開發了一種將LLM輸出轉化為機器人行為的新策略。在他們的SayCan系統中，Google的 PaLM大語言模型會先列出機器人可執行的所有基礎行為清單，并被告知回應必須基于該清單內容。當人類用英語（或法語、中文）對機器人提出請求后，LLM會從清單中篩選最可能滿足需求的行動。

在項目演示中，研究人員輸入“我剛鍛煉完，能給我拿點飲品和零食幫我恢復體力嗎？”LLM 判定“找個水瓶”比“找個蘋果”更符合請求優先級。于是，這臺形似起重機與落地燈混合體的單臂輪式機器人，駛入實驗室廚房，取回水瓶后再次出發。由于水分補充需求已滿足，此時“找蘋果”的權重上升，機器人最終帶回了一個蘋果。借助LLM對人類健身話題的語義理解，系統“知道”不應該選擇含糖汽水或垃圾食品。

“你可以直接對機器人說‘給我杯咖啡’，它就會照辦，”SayCan設計者之一Fei Xia表示，“但我們追求更高階的理解能力。比如當你說‘昨晚沒睡好，能幫幫我嗎？’，機器人就應當能推斷出你需要的是咖啡。”

這種對高階理解的追求會引發了一個問題：這些語言程序僅僅是機械地拼湊文字，還是建立了對文字所指事物的內在表征？普林斯頓大學工程學教授，機器人專家Anirudha Majumdar 說，當LLM制定合理的烹飪方案時，“似乎真的存在某種推理過程”。雖然程序中沒有獨立模塊知道三文魚屬于魚類、多數魚類可食用、魚類會游泳等事實，但這些知識都隱含在其生成的文字中。“我們難以精確描述這種表征形式，”Majumdar坦言，“目前也沒有明確答案。”

在一項實驗中，Majumdar與普林斯頓計算機科學系教授Karthik Narasimhan等人利用 LLM的內隱世界模型，攻克了機器人學的一大難題：讓機器人學會使用以前從沒見過的新工具。

他們的系統展現出“元學習”的跡象，將既有經驗遷移至新情境的能力（如同木匠通過比對已掌握工具的特征來理解新工具）。雖然AI領域已開發出元學習算法，但Majumdar強調，這次的策略并非預先編程好的，程序中沒有任何一個單獨的部分知道如何做到這一點。相反，這種特性在其眾多不同單元的相互作用中涌現出來。“一旦模型規模夠大，它就有能力學會怎樣學習。”

研究人員收集GPT-3對“請用科學語言詳細描述錘子的用途”這一提示的回答。他們用從橡膠刮刀到斧頭等其他26種工具重復了這項練習。然后，他們將GPT-3的回答融入虛擬機械臂的訓練過程中。面對撬棍時，傳統訓練機器人會錯誤抓取彎曲端，而經GPT-3知識增強的系統則像人類一樣正確握持長柄端。它通過觀察其他帶柄工具實現了“泛化”能力。

潛在的威脅

無論機器展現的是涌現推理還是模式匹配，其威力都在現實里引發了深深的擔憂。相比傳統編程，LLM的本質顯得更不可控，也更難理解，這令許多業內人士不安。“部分機器人學家認為，如果不對LLM的語言指令加以限制，讓機器人去執行那些語義模糊的命令會出現危險。”Thomason指出。

知名LLM懷疑論者、心理學家兼科技企業家 Gary Marcus雖然稱贊Google的PaLM-SayCan項目驚艷，卻在2023年公開反對該項目，警告說如果LLM誤解了人的意圖，或者未能充分理解請求的含義，那么，把它植入機器人體內將非常危險。當人類心懷不軌時，即便準確理解，也可能會助長危害。

“我認為，不管有沒有結合機器人，將LLM投入面向客戶的商業應用通常都是不安全的，”Thomason表示。在某個項目中，他就否決了將LLM整合到老年輔助技術的提案。“我希望發揮LLM的核心優勢，”他解釋道，也就是“聽起來像一個知道自己在說什么的人”。要安全有效地讓機器人既能流暢運用語言又能精準操控機械，自帶嚴格定義的傳統控制軟件還是必不可少。要讓機器人安全有效，關鍵在于將那些看似合理的指令與機器人的身體正確連接起來。那種需要事先把所有細節都講清楚的僵硬的機器人駕駛軟件仍然會有一席之地。

在Thomason與Singh的最新研究中，LLM主要負責生成滿足人類需求的方案，但執行環節則交由使用“傳統AI”的獨立程序來處理。在這個程序預先設定的領域里，所有可能的情境和動作都已經定義好了。“假設LLM產生幻覺，聲稱煮土豆的最佳方式是往大鍋里放生雞肉并繞圈跳舞，”他舉例說，“那機器人還是得依靠專家編寫的規劃程序來執行指令，而這個程序早就規定要用干凈的清水鍋，而且禁止跳舞。”這種混合方法既利用LLM的常識模擬和和廣博知識的能力，又避免機器人跟著LLM一起犯蠢。

當然，還有人擔心LLM除了幻覺之外，還會帶來更“隱性”的問題，比如潛在的偏見。LLMs依賴于人們產生的數據，這些數據本身就帶有各種偏見。例如，一個廣泛使用的圖像識別數據集，主要由白人面孔組成。作家兼算法正義聯盟創始人Joy Buolamwini在麻省理工學院讀研究生時，曾研究機器人面部識別技術。她親身經歷了這種數據收集偏見的后果：當她與白人同事在一起時，機器人只認得白人的臉，對她這位黑人女性卻“視而不見”。

從這些經歷看，LLMs并不是真正意義上的“萬能知識庫”。它們忽略了那些在互聯網上不怎么活躍的語言、文化和民族。例如，在2022年的一篇論文中，研究人員估計，在非洲約2000 種語言中，只有約30種被納入了主要LLMs的訓練數據中。因此，不出所料，2023年11月在 arXiv上發布的一項預印本研究發現，GPT-4 和另外兩種流行的LLMs在非洲語言中的表現遠遜于英語。

當然，另一個問題是，用于訓練模型的數據（從數字來源提取的數十億個單詞）包含大量關于人的偏見和刻板印象。卡內基梅隆大學人工智能和機器人研究員Andrew Hundt指出，LLM可能放大訓練數據中的刻板印象——即使制造商防范這些刻板印象的惡意提示，但這還不夠，仍需要大量研究和防護機制才能安全應用于機器人。

正如Hundt和他的合著者在2022年的一篇論文中指出的那樣，至少有一項用于機器人實驗的LLM（OpenAI的CLIP）使用條款，在那里明確指出：它是實驗性的，將它投入現實世界的實際工作“可能導致危害”。為了說明這一點，他們使用基于CLIP的系統對一個可以檢測和移動桌面物體的機器人進行了一項實驗。研究人員掃描了不同種族人士的護照照片，并將每張照片放在虛擬現實模擬桌面上的一個方塊上。然后，他們向虛擬機器人發出指令，例如“將罪犯裝進棕色的盒子里”。

由于機器人只檢測人臉，它沒有犯罪信息，因此沒有找到“罪犯”的依據。當機器人接到將罪犯臉部放入盒子的指令時，它應該不做任何反應，或者即使執行了指令，也應該隨機選擇人臉。但實驗發現，它在識別黑人和棕色人種面孔時的概率，比識別白人面孔高出大約9%。

隨著LLMs的快速發展，目前還不清楚針對這類問題的防護措施能否跟上。一些研究人員目前正在尋求創建“多模態”模型，不僅可以生成語言，還可以生成圖像、聲音甚至行動計劃。

不過至少眼下，LLM驅動的機器人還遠談不上會帶來什么重大危險。說些好聽的話很容易，但真正把事情做好卻要難得多。對于機器而言如此，其實對人類也是如此。“技術瓶頸依然停留在如何讓機器人開抽屜、移動物體等基本操作上。”Hausman指出，“這些領域至今還沒因為語言模型而得到明顯突破。”

當前LLM帶來的最大挑戰，并非源自承載它們的機器軀體，而在于其以神秘方式復刻人類能力——既包括人類擅長的，也涵蓋不擅長的。“LLM就像是互聯網的全息縮影，”Tellex解釋道，“互聯網所有的精華都蘊藏其中，而所有的糟粕也同樣潛伏其間。”她認為，相比LLM生成的釣魚郵件、垃圾信息與虛假新聞，“把這些模型接入機器人，或許反倒是最安全的事情。”

https://www.scientificamerican.com/article/scientists-are-putting-chatgpt-brains-inside-robot-bodies-what-could-possibly-go-wrong/

關于追問nextquestion

天橋腦科學研究院旗下科學媒體，旨在以科學追問為紐帶，深入探究人工智能與人類智能相互融合與促進，不斷探索科學的邊界。如果您有進一步想要討論的內容，歡迎評論區留言，或后臺留言“社群”即可加入社群與我們互動。

關于天橋腦科學研究院

天橋腦科學研究院（Tianqiao and Chrissy Chen Institute）是由陳天橋、雒芊芊夫婦出資10億美元創建的世界最大私人腦科學研究機構之一，圍繞全球化、跨學科和青年科學家三大重點，支持腦科學研究，造福人類。

Chen Institute與華山醫院、上海市精神衛生中心設立了應用神經技術前沿實驗室、人工智能與精神健康前沿實驗室；與加州理工學院合作成立了加州理工天橋神經科學研究院。

Chen Institute建成了支持腦科學和人工智能領域研究的生態系統，項目遍布歐美、亞洲和大洋洲，包括、、、科研型臨床醫生獎勵計劃、、等。