來源：混沌巡洋艦

本文源于塔勒布的一則推文

其中提到的圖如下所示：

接下來是Deepseek V3 對該圖給出的詳解

人工通用智能(AGI)的本質

人工通用智能(Artificial General Intelligence)代表著具有人類水平流體智能的AI系統，其核心特征包括三個方面：

1. 從新經驗中學習的能力：不同于當前AI系統需要大規模靜態數據集進行訓練，AGI應當能夠像人類一樣從連續流動的體驗中實時學習。例如，一個兒童通過幾次跌倒就能學會平衡自行車，而當前最先進的機器人可能需要數百萬次的模擬訓練才能掌握類似技能。

2. 適應性智能：AGI需要具備根據環境變化動態調整認知策略的能力。這類似于人類在面對陌生城市時能夠綜合運用地圖、路標詢問和試錯等不同策略找到目的地，而非依賴單一固定的問題解決模式。

3. 知識遷移應用：真正的通用智能體現在能夠將某一領域獲得的知識靈活應用于完全不同的新情境。典型例子如數學家馮·諾伊曼將博弈論應用于經濟學和軍事戰略，展示了人類智能的跨領域遷移能力。

這些特質共同構成了"通用智能"的本質，也是當前LLM與真正智能之間存在的主要差距。值得注意的是，AGI不需要在所有認知任務上超越人類，但必須具備這種適應性和靈活性。

大型語言模型的興起與"涌現能力"現象

近年來，LLM發展呈現出明顯的規模擴大趨勢。從GPT-3的1750億參數到當前某些模型的萬億級規模，研究者們觀察到了一個引人注目的現象——涌現能力(emergent abilities)。這些能力指在模型規模超過某個臨界點時，系統突然表現出訓練目標中未明確編程的才能，如：

• 數學推理：盡管沒有專門訓練數學證明，大型模型能夠解決一定復雜度的數學問題

• 代碼生成：能夠根據自然語言描述寫出功能正確的程序代碼

• 跨語言翻譯：即使沒有明確的雙語對齊數據，也能實現一定質量的翻譯

這些"意外"能力的出現引發了AI社區的極大熱情，也催生了"通過持續擴大規模可能實現AGI"的樂觀假設。OpenAI首席科學家Ilya Sutskever曾提出"規模就是一切"的觀點，反映了這種思潮。

然而，這種觀點忽略了關鍵一點：這些涌現能力本質上仍是統計模式的復雜表達，而非真正的理解或推理。當測試用例超出訓練數據分布時，這些能力往往會戲劇性崩潰。例如，LLM可能在簡單算術上表現良好，但當問題以不常見的形式呈現時(如使用罕見詞匯描述數學問題)，其表現會顯著下降。

LLM架構的深層約束

要理解為什么單純擴大規模無法實現AGI，必須深入分析LLM的基本架構限制。LLM的核心是一個基于Transformer的自回歸模型，其工作流程可簡化為以下步驟：

1. 輸入處理：將文本分割為token(可能是單詞或子詞單元)

2. 嵌入表示：通過查找表將每個token映射為高維向量

3. Transformer處理：通過自注意力機制計算token間關系，多層堆疊逐步細化表示

4. 概率計算：基于上下文對所有可能的下一個token進行評分(softmax歸一化)

5. 輸出選擇：通常選擇最高概率token，有時引入隨機性增加多樣性

這一流程雖然能產生流暢文本，但揭示了LLM的幾個根本限制：

1. 前饋架構與不可逆處理

LLM的單向生成機制使其無法像人類那樣進行迭代式思考。人類寫作時會不斷回顧、修改前面的內容，而LLM一旦生成token就無法撤回或修正。這種"一次通過"的特性限制了深度推理能力。例如，當解決復雜數學問題時，人類會反復檢查中間步驟，而LLM只能線性前進，容易累積錯誤。

2. 固定上下文窗口

所有LLM都存在上下文長度限制，無論是早期的2048token還是現代模型的128k窗口。這導致兩個關鍵問題：

• 長期依賴丟失：無法維持超長文本中的一致性，如小說創作中保持角色特征

• 信息選擇壓力：當輸入超過窗口大小時，必須決定保留哪些信息，這一過程往往基于簡單啟發式而非真正理解

最根本的限制在于LLM缺乏對物理和社會世界的內部模擬能力。人類依靠豐富的感覺運動經驗建立了關于物體持久性、重力作用、社會規范等基本概念，而LLM僅通過文本統計來近似這些知識。這導致：

• 常識推理薄弱：無法理解"如果我把手機放進攪拌機，它會壞掉"這類基于物理常識的陳述

• 反事實想象有限：難以系統性地探討與訓練數據分布偏離的情境

• 因果理解表面：只能識別文本中的統計關聯，而非真正的因果關系

認知科學家斯坦尼斯拉斯·迪昂指出："理解不是模式識別，而是模型構建。"這正是LLM與人類智能的本質區別。

架構約束的后果表現

這些底層限制在實際應用中表現為幾個關鍵缺陷：

知識僵化：LLM無法像人類那樣持續更新和驗證知識。當提供新信息時，它們不會真正"學習"，只是在當前上下文中調整輸出。例如，告知LLM"地球是平的"只會影響當前對話，而不會改變其底層知識表示。

組合泛化失敗：人類能夠將基本概念組合創新解決新問題，如將"冰"和"船"組合理解"破冰船"。LLM在這種組合創新上表現不穩定，尤其是面對新穎組合時。

領域遷移困難：真正的智能體現在能夠將某領域的洞見應用于另一領域。LLM雖然能生成跨領域文本，但這種"遷移"往往只是表面語言風格的模仿，而非深層次的原則應用。

情境理解局限：無法根據非語言線索(如對話發生的物理環境、參與者的表情語調)調整理解。人類對話中，這些副語言信息承載了大量意義。

通向AGI的可能路徑

如果單純擴大規模無法實現AGI，那么什么方向可能帶來突破？當前研究界正在探索幾條有前景的路徑：

1. 混合架構系統

結合符號推理與神經計算的混合系統可能克服純神經網絡的局限。例如：

• 神經符號系統：使用神經網絡處理感知輸入，符號引擎負責邏輯推理

• 模塊化設計：將不同認知功能(記憶、推理、感知)分配給專門子系統

通過物理具身或模擬環境讓AI獲得感覺運動經驗，可能是構建世界模型的關鍵。例如：

• 機器人學習：在真實或虛擬環境中通過交互學習物理規律

• 多模態訓練：整合視覺、聽覺、觸覺等多感官輸入，建立更豐富的世界表示

開發能夠長期保持并動態更新知識的記憶系統：

• 可擴展記憶：突破固定上下文窗口的限制

• 記憶鞏固機制：模仿人類的睡眠記憶重組過程

設計能夠自我改進基礎認知過程的系統：

• 學習算法：不僅學習內容，還優化自身的學習方式

• 注意力控制：動態分配計算資源，模仿人類的注意力機制

LLM的快速發展無疑推動了AI領域的進步，但將這種進步等同于通向AGI的道路是一種危險的簡化論。真正的通用智能需要突破當前架構的根本限制，發展出具有世界模型、深層推理和持續學習能力的系統。

正如深度學習先驅Yoshua Bengio所言："我們需要的不是更大的模型，而是更好的學習原則。"未來AGI研究應當更加關注如何實現知識的靈活組合、因果推理和情境理解，而非單純追求參數量的增長。這需要跨學科的協作，整合認知科學、神經科學和計算機科學的最新洞見。

規模擴大或許能帶來更流暢的對話代理，但真正的智能革命將來自架構創新而非規模膨脹。理解這一區別，對于合理規劃AI研究方向和資源分配至關重要。

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。

截止到3月31日 ”未來知識庫”精選的百部前沿科技趨勢報告

（加入未來知識庫，全部資料免費閱讀和下載）