近日，圖靈獎得主&美國紐約大學教授楊立昆（Yann LeCun）聯合美國斯坦福大學團隊打造出一款信息論框架，借此揭示了大模型和人類的一個根本差異：即兩者在平衡信息壓縮和語義意義上采用了截然不同的策略

（來源：資料圖）

對于加強人機對齊的 AI 的發展來說，研究團隊的本次觀察能夠為其指明重要方向。它意味著要實現更加接近人類認知理解的 AI，就必須讓 AI 突破當前以規模擴張和統計模式匹配為核心的范式。要想讓 AI“從 token 發展到思想”、打造真正具備理解能力和推理能力的系統，需要遵循能夠培育更豐富、具備上下文感知能力的概念結構的原則。

而研究團隊提出的信息論框架在此方向上邁出了可量化的一步。它將促使學界進一步探索：大模型表面上的“低效性”或許恰恰正是構建類人穩健智能的關鍵特征。

研究團隊指出，盡管大模型在廣泛的類別對齊上與人類判斷一致，但是在捕捉典型性等細粒度語義細微差別方面表現不足，并且其表征效率特征與人類存在顯著差異。

其在論文中寫道，大模型似乎被進行了高度優化，以便能夠實現統計緊湊性，這讓大模型形成了信息論意義上的高效表征，因為它們具有較低的簇熵和“更優”的損失函數值。這表明大模型傾向于最小化冗余，以及傾向于最大化統計規律性，而這可能是它們在大型文本語料庫上訓練的結果。

然而，這種對于平衡信息壓縮的強烈關注，限制了大模型完整地編碼基于原型的豐富語義細節的能力，而這些細節正是大模型實現類人深度理解的關鍵所在。

人類認知會優先考慮適應性的豐富度（adaptive richness）、情境靈活性（contextual flexibility）和廣泛的功能實用性（盡管按照本次提出的框架來衡量的話，這會在統計緊湊性方面付出一定代價）。

研究團隊認為，他們針對人類概念所觀察到的高熵和損失函數值，很可能反映了人類認知系統針對更廣泛復雜認知需求的一種優化。這些需求包括：為實現穩健泛化而形成的細微表征；支持強大的推理能力比如因果推理、功能推理和目標導向推理；通過可學習和可共享的結構實現有效溝通，并將概念錨定于豐富的多模態體驗中。

其指出，大腦的神經結構本身可能天生傾向于分布式、上下文敏感且適應性強的表征，而非傾向于靜態的最優壓縮。因此，人類認知似乎會天然地“投資”于本次研究團隊統計指標中所認為的“低效性”，以便換取更強的適應性和靈活性。

在特定的對齊任務之中，谷歌公司的 BERT 這樣的小型編碼器模型有著出色表現，這表明模型架構設計和預訓練目標會顯著影響大模型抽象出類人概念信息的能力。

本質上，大模型擅長統計可壓縮性，它走的是一條與人類認知截然不同的表征道路。而人類認知更加注重適應性的豐富度和功能實用性，并且人類往往將這些置于純粹的統計效率之上。這一核心差異至關重要，因為它突顯了 AI 在追求類人理解方面的當前局限性，從而能為后續研究指明關鍵方向。

圖 | 相關論文（來源：arXiv）

大模型中的意義之謎

據了解，人類通過語義壓縮將多樣實例映射為抽象表征，在保持意義完整的同時將知識組織為緊湊的類別體系，例如知更鳥和藍松鴉都屬于鳥類，大多數鳥類都會飛等等，這些概念反映了表達保真度與表征簡潔性之間的權衡。

盡管大模型展現出了卓越的語言能力，但是人們依然不清楚它們的內部表示是否在壓縮效率與語義保真之間達成了類似于人類的權衡。

率失真理論（RDT，Rate-Distortion Theory）是信息論的核心分支之一，用于研究在允許一定失真的條件下信息壓縮的極限效率。信息瓶頸原理（IB，Information Bottleneck Principle）是信息論與機器學習交叉領域的核心理論，用于揭示智能系統在信息處理中的本質權衡。

在本次研究之中，研究團隊基于率失真理論與信息瓶頸原理，構建了一個全新的信息論框架，以用于量化和比較上述兩種認知策略。

研究中，研究團隊將多種大模型的 token 嵌入與經典的人類分類基準進行比較分析，借此發現了若干關鍵差異。

具體來說，雖然大模型形成了與人類判斷相一致的廣泛概念類別，但它們很難捕捉到對人類理解至關重要的細粒度語義區別。

從更根本的層面看，大模型展現出對激進的統計壓縮的強烈偏好，而人類的概念系統似乎更重視適應性的細膩差別與語境的豐富性，即便這在研究團隊的衡量標準下意味著較低的壓縮效率。

據介紹，人類語言結構所定義的范疇可能會因語言而異，但它們都被映射到一個共同的概念空間中。這一概念空間代表了人類共同的認知遺產，它實際上也構成了人類心智的認知版圖。

人類形成概念的能力，也是智能的基石。基于此，人類能夠從復雜信號中提取意義，以便應對信息過載。具體來說，人類通過識別關鍵特征、并將體驗壓縮為認知上可處理的信息摘要來實現了這一能力。

人類的概念架構通常呈現出層級化的特征，這在本質上是一種高效的語義壓縮機制：它能將多樣實例映射為緊湊表征，同時保留核心語義關系。同時，這一過程能在表征效率與關鍵語義保真度的保留之間取得平衡，而這種權衡是人類學習事物和理解事物的核心。

大模型在處理和生成人類語言方面表現出驚人的能力，能夠執行許多看似需要深度語義理解的任務。然而，一個根本性謎題始終未解：大模型是否真正能像人類一樣理解概念和意義？還是說它們的成功主要源于對海量數據集進行復雜的統計模式匹配？

鑒于人類能夠輕松地將大量輸入提煉為緊湊且有意義的概念，而這一過程由信息壓縮與語義保真度之間的內在權衡所主導，因此揭開上述謎題就顯得尤為重要。

作為人類認知的思維支架，概念系統能夠實現高效信息解析、稀疏數據泛化以及豐富語義交流。為了讓大模型超越表層模仿從而實現更加接近人類的理解，關鍵在于要研究它們的內部表示如何在信息壓縮與語義保留之間做出權衡。

那么，大模型究竟是發展出了與人類思維的效率和豐富性相媲美的概念結構？還是采用了根本不同的表征策略？

為了解決這個問題，研究團隊引入了一種基于信息論的新型定量方法。他們開發并應用了一個基于率失真理論和信息瓶頸原理的框架，系統地比較了大模型和人類概念結構如何在表征復雜性和語義保真度之間取得平衡。

需要說明的是，研究團隊采用認知心理學領域的經典數據集來刻畫人類的分類行為，并以此作為關鍵的人類認知基準。與此同時，他們針對這些經典數據集進行數字化處理并公開發布。

而研究團隊所提出的框架專門用于剖析這些不同系統如何在壓縮與語義之間權衡。通過針對多種大模型的比較分析，其揭示了它們在表征策略上的差異。

盡管大模型通常能夠形成與人類判斷相符的寬泛概念類別，但它們往往無法捕捉對人類理解至關重要的細粒度語義差異。

更為關鍵的是，研究團隊發現了一種明顯的優先級差異：即大模型傾向于強烈而激進的統計壓縮，而人類更偏好適應性的細膩差別和語境的豐富性——即便這可能會以犧牲純粹的壓縮效率為代價。

這種分歧突顯了人類與 AI 的根本差異，并為開發具有更人性化概念理解的 AI 指明了方向。

以人類認知為基準

研究團隊表示，從實證角度研究大模型表征與人類概念結構之間的關系需要兩個關鍵要素：可靠的人類分類基準和多樣化的大模型選擇。

本次工作中的比較研究，以認知心理學經典研究中關于人類分類過程的實證數據為基準。后者為人類如何形成概念、判斷類別歸屬以及感知典型性提供了豐富的實證證據。

與許多可能存在噪聲的現代眾包數據集不同的是，這些經典基準由認知科學專家精心設計，反映的是深層的認知模式而非表面關聯的認知模式，且根植于當時蓬勃發展的概念結構理論。

具體來說，研究團隊重點選取了上個世紀的以下三項開創性研究：

1973 年，美國加州大學伯克利分校教授埃莉諾·羅施（Eleanor Rosch）針對語義范疇進行了探索。該成果認為，范疇是圍繞著“原型”成員、而非圍繞嚴格且平等共享的特征來組織的。相關數據集涵蓋了 8 個常見語義范疇中的 48 個項目比如家具和鳥類，這些項目還被進行了原型性排名，例如知更鳥是典型的鳥類，而蝙蝠則是不典型的鳥類（它實際上是哺乳動物）。

1975 年，埃莉諾·羅施（Eleanor Rosch）進一步詳述了語義范疇在認知中的表征方式，針對十個范疇中的 552 個項目提供了廣泛的典型性評級，例如橙子是典型的水果，南瓜則是典型性較低的水果（實際上在日常生活中南瓜主要被作為蔬菜食用）。

（來源：https://psychology.berkeley.edu/people/eleanor-h）

1978 年，美國約翰霍普金斯大學教授邁克爾?麥克洛斯基（Michael McCloskey）與美國普林斯頓大學山姆·格拉克斯伯格（Sam Glucksberg）研究了自然類別的“模糊”邊界，表明類別歸屬通常是漸進分級的而非絕對的。相關數據集涵蓋 18 個類別中的 449 個項目，包含典型性評分和類別歸屬確定性評級。例如，連衣裙是典型的衣物，而創可貼的典型性則比較低。

（來源：https://cogsci.jhu.edu/directory/michael-mccloskey/）

盡管這些數據集源自不同的研究團隊、且理論側重點各不相同，但它們均采用了嚴謹的實驗設計，并提供了關于類別歸屬和項目典型性的數據。基于此，本次研究團隊整合了這些研究的數據，創建了一個涵蓋 34 個類別、1049 個項目的統一基準。目前，研究團隊已將該數據集進行數字化和開源。

（來源：arXiv）

所選模型涵蓋當前主流架構范式

在本次研究之中，研究團隊納入了多種類型的大模型，以便評估概念表征如何隨計算架構和規模的不同而變化。

這一選定的模型涵蓋了當前主流的架構范式，并覆蓋了從 3 億到 720 億參數的廣泛規模區間。所采用的大模型大多數是僅解碼器自回歸模型，包括：

• 6 個 Llama 系列模型（參數規模從 10 億到 700 億，如 Llama 3.1 700 億參數模型）；
• 5 個 Gemma 系列模型（20 億到 270 億參數）；
• 13 個 Qwen 系列模型（5 億到 720 億參數）；
• 4 個 Phi 系列模型（如 Phi-4）；
• 1 個 Mistral 70 億參數模型。

在相關分析之中，研究團隊主要采用 BERT 系列中的純編碼器架構模型。對于每個大模型，研究團隊從其輸入嵌入層中提取靜態的 token 級嵌入。這一選擇使得他們的分析與人類分類實驗中典型的無上下文刺激特征相契合，從而確保了表征基礎的可比性。

（來源：arXiv）

總的來說，為了解析大模型與人類認知如何應對“意義表征”這一根本性挑戰，研究團隊構建了一個信息論分析框架。其表示，他們所提出的信息論框架和損失函數目標，為指導和評估模型實現更加類人的平衡能力提供了一種潛在工具。

對于認知科學而言，大模型憑借其獨特的優化偏向性，成為極具價值的計算參照樣本。通過對比大模型的操作策略與人類表現，能夠揭示塑造人類概念形成的獨特約束條件和多維目標，從而為檢驗認知理論提供強有力的實驗平臺。

這些發現闡明了當前 AI 和人類認知結構之間的關鍵差異，并為構建更符合人類概念表征的大模型指明了方向。研究團隊在論文中表示，學界的相關后續研究應著力探索能夠主動培育更豐富、更具語義細微差別的概念結構的設計原則。

參考資料：

https://arxiv.org/pdf/2505.17117

排版：溪樹