人類能夠對自然界中的物體進行概念化，不僅能識別物體的物理特征（尺寸、顏色、形狀等），還能理解其功能、情感價值和文化意義——這種多維度的概念表征構成了人類認知的基石。

隨著大語言模型的爆發式發展，一個問題浮出水面：這些大模型能否從語言和多模態數據中發展出類似人類的物體概念表征？

中國科學院自動化研究所與中國科學院腦科學與智能技術卓越創新中心的聯合團隊，結合行為實驗與神經影像分析，首次證實多模態大語言模型（MLLMs）能夠自發形成與人類高度相似的物體概念表征系統。

該研究不僅為人工智能認知科學開辟了新路徑，更為構建類人認知結構的人工智能系統提供了理論框架。

01

從“機器識別”到“機器理解”

傳統人工智能研究聚焦于物體識別準確率，鮮少探討模型是否真正“理解”物體含義。研究團隊指出：“當前AI能區分貓狗圖片，但這種‘識別’與人類‘理解’貓狗的本質區別仍有待揭示。”

團隊從認知神經科學經典理論出發，設計了一套融合計算建模、行為實驗與腦科學的創新范式。

采用認知心理學經典的“三選一異類識別任務”（triplet odd-one-out），要求大模型與人類從物體概念三元組（來自1854種日常概念的任意組合）中選出最不相似的選項。團隊通過分析470萬次行為判斷數據，首次構建了AI大模型的“概念地圖”。

▲實驗范式示意圖。a，物體概念集及帶有語言描述的圖像示例。b-d，分別針對LLM、MLLM和人類的行為實驗范式和概念嵌入空間。

02

AI與人類殊途同歸

研究人員從海量大模型行為數據中提取出66個“心智維度”，并為這些維度賦予了語義標簽。

研究發現，這些維度是高度可解釋的，且與大腦類別選擇區域（如處理面孔的FFA、處理場景的PPA、處理軀體的EBA）的神經活動模式顯著相關。

研究還對比了多個模型在行為選擇模式上與人類的一致性（Human consistency）。結果顯示，多模態大模型在一致性方面表現更優。

此外，研究還揭示了人類在做決策時更傾向于結合視覺特征和語義信息進行判斷，而大模型則傾向于依賴語義標簽和抽象概念。

該研究表明大語言模型并非“隨機鸚鵡”（AI說得很多，但它不知道自己在說什么），其內部存在著類似人類對現實世界概念的理解。

論文鏈接：

https://www.nature.com/articles/s42256-025-01049-z

來源：中國科學院自動化研究所

責任編輯：宋同舟