轉自 量子位

大模型≠隨機鸚鵡！Nature子刊最新研究證明：

大模型內部存在著類似人類對現實世界概念的理解。

LLM能理解現實世界和各種抽象概念嗎？還是僅僅在“鸚鵡學舌”，純粹依靠統計概率預測下一個token? 長期以來，AI社區對這一問題存在很大的分歧。

有一種猜測是，純粹基于語言的形式（例如訓練語料庫中token的條件分布）進行訓練的語言模型不會獲得任何語義。

相反，它們僅僅是根據從訓練數據中收集的表面統計相關性來生成文本，其強大的涌現能力則歸因于模型和訓練數據的規模。這部分人將LLM稱為“隨機鸚鵡”。

但現在研究證明，并非如此！

中國科學院自動化研究所與腦科學與智能技術卓越創新中心的聯合團隊在《Nature Machine Intelligence》發表題為《Human-like object concept representations emerge naturally in multimodal large language models》的研究。

團隊通過行為實驗與神經影像分析相結合，分析了470萬次行為判斷數據，首次構建了AI模型的“概念地圖”，證實多模態大語言模型（MLLMs）能夠自發形成與人類高度相似的物體概念表征系統。

研究邏輯與科學問題：從“機器識別”到“機器理解”

傳統AI研究聚焦于物體識別準確率，卻鮮少探討模型是否真正“理解”物體含義。

論文通訊作者何暉光研究員指出：“當前AI能區分貓狗圖片，但這種‘識別’與人類‘理解’貓狗的本質區別仍有待揭示。”

團隊從認知神經科學經典理論出發，提出三個關鍵問題：

• 表征相似性：LLMs的物體表征是否具有與人類相似的低維結構？

• 語義可解釋性：大模型是否發展出可被人類理解的語義維度？

• 神經對應性：AI表征是否與大腦處理物體的神經活動模式存在映射關系？

為回答這些問題，團隊設計了一套融合計算建模、行為實驗與腦科學的創新范式。

研究采用認知心理學經典的“三選一異類識別任務”（triplet odd-one-out），要求模型與人類從物體概念三元組（來自1854種日常概念的任意組合）中選出最不相似的選項。

通過分析470萬次行為判斷數據，團隊首次構建了AI模型的“概念地圖”。

具體來說，本研究突破傳統神經網絡節點分析范式，首創“行為認知探針”方法：

• 機器行為學實驗：將心理學實驗范式遷移至AI，通過470萬次三選一任務構建選擇概率矩陣

• 核心認知維度提取：稀疏正定相似度嵌入算法從大模型行為數據反推其“心智空間”，避免大規模黑箱神經網絡的可解釋性難題

• 跨模態驗證：同步對比人類行為數據、腦神經活動與大模型表征，建立三者間的定量映射關系

“我們不是通過解剖AI模型內部的海量神經元來理解它，而是讓AI像人類一樣做選擇題，從而逆向破解它的認知系統。”論文第一作者杜長德解釋道。這種方法為研究閉源商業模型（如GPT-4）的認知特性提供了可行路徑。

核心發現：AI的“心智維度”與人類殊途同歸

核心發現有以下幾點。

1、低維嵌入揭示普適認知結構

研究采用稀疏正定相似性嵌入方法，從海量大模型行為數據中提取出66個核心維度。

令人驚訝的是，純文本訓練的ChatGPT-3.5與多模態Gemini模型均展現出穩定的低維表征結構，其預測人類行為選擇的準確度分別達到噪聲上限的87.1%和85.9%。這暗示不同架構的AI模型可能收斂到相似的認知解決方案。

2、涌現的語義分類能力

在沒有顯式監督的情況下，模型自發形成了18個高級物體概念類別（如動物、工具、食物）的聚類（圖3）。

MLLM的分類準確率達78.3%，接近人類的87.1%，顯著高于傳統視覺模型（包括監督學習、自監督學習等模型）。

值得注意的是，模型表現出與人類一致的“生物/非生物”“人造/自然”分類邊界，印證了認知神經科學的經典發現。

3、可解釋的認知維度

研究為AI模型的“思考維度”賦予語義標簽。例如：

• 語義類別相關的維度：如動物、食物、武器或車輛

• 感知特征相關的維度：如硬度、價值、厭惡度、溫度或紋理

• 物理成分相關的維度：如木材、陶瓷、金屬、其他材料

4、與大腦神經活動的驚人對應

通過分析7T高分辨率fMRI數據（NSD數據集），團隊發現MLLM的表征與大腦類別選擇區域（如處理面孔的FFA、處理場景的PPA、處理軀體的EBA）的神經活動模式顯著相關。

在梭狀回面孔區（FFA），MLLM的低維“心智”嵌入預測神經活動的準確度達到人類水平的85%，遠超純文本模型（60%）。

這一發現為“AI與人類共享概念處理機制”提供了直接證據。

5、哪個模型在行為選擇模式上更接近人類？

研究還對比了多個模型在行為選擇模式上與人類的一致性（Human consistency）。

結果顯示，大模型（如ChatGPT-3.5、Gemini_Pro、Qwen2_VL）和多模態模型（如CLIP）在一致性方面表現更優，而傳統單模態模型（如 ResNet18、VGG16、AlexNet、GPT2）一致性得分較低。

此外，隨著模型性能的提升（如從ChatGPT-3.5到GPT-4），一致性得分顯著提高，但仍有一定提升空間，尚未達到理論上限（Noise ceiling）。

總體而言，大模型和多模態模型在模擬人類行為選擇模式上更具優勢。

6、人類和大模型做決策時所依賴的主要維度有什么不同？

下圖展示了人類與LLM及MLLM在決策判斷任務中所依賴的關鍵維度的差異。

通過一系列三元組選擇示例，揭示了人類在做決策時更傾向于結合視覺特征和語義信息進行判斷，而大模型則傾向依賴于語義標簽和抽象概念。

盡管兩者在某些選擇上趨于一致，但在背后起作用的關鍵認知維度也存在一些區別：

人類更具靈活性和感知整合能力，而模型則更側重語言驅動的語義歸類。這種對比反映出當前人工智能在模仿人類決策過程中的局限性與進步空間。

本文研究發現具有廣闊的應用前景，包括：

• 類腦智能：尋找機器與人類間的認知結構差異，開發與人類認知維度對齊的AI系統 (NeuroAI)

• 神經科學：基于大模型的類人“心智維度”探索生物腦實現概念組合與泛化、靈活決策與推理的神經機制 （AI for Neuroscience）
  

• 腦機接口：利用大模型核心維度表征解碼大腦神經信號，構建認知增強型腦機接口系統 (AI for BCI)

團隊還指出了下一步重點：

• 拓展至新一代多模態大模型，形成認知基準測試平臺，為評估AI的語義理解提供客觀標準。正如論文通訊作者何暉光研究員所說：“這項工作不僅是在測試AI的能力，更是在尋找人與機器之間共通的認知語言，探測AI模型的“概念地圖”只是第一步，未來需要建立涵蓋推理、情感等維度的完整認知評估體系。”

• 采用更大規模、更加細粒度、層次化的概念集，全面建立大模型“認知圖譜”。

• 開發基于認知對齊的大模型持續微調方法，構建新一代認知增強型大模型。

論文鏈接：https://www.nature.com/articles/s42256-025-01049-z
代碼：https://github.com/ChangdeDu/LLMs_core_dimensions
數據集：https://osf.io/qn5uv/

【免責聲明】轉載出于非商業性的教育和科研目的，只為學術新聞信息的傳播，版權歸原作者所有，如有侵權請立即與我們聯系，我們將及時刪除。