來源：AIGC深一度

深度解析OCR：梯度下降與Transformer矩陣分解的隱式偏差如何同時造就強大泛化能力與危險幻覺——來自加州大學伯克利分校的新理論

我們都曾經歷過這樣的時刻：與大語言模型（LLM）交互時，驚嘆于它綜合復雜信息、編寫優雅代碼或草擬細膩郵件的能力。然而，當你向它詢問一個關于新主題的簡單事實性問題時，它卻會自信地吐出完全虛構的內容。這種認知沖擊定義了當前的AI時代：一個系統為何能展現出驚人的智能，卻又如此根本地不可靠？

這是現代AI的核心悖論。我們在新信息上微調模型，它能展現卓越的泛化能力，以近乎"真正理解"的方式推導結論、連接邏輯鏈；但同樣的過程也會使它易于產生幻覺——用同樣流暢的文筆直率地斷言謬誤。多年來，我們一直將這些視為獨立的問題：泛化是需要最大化的目標，而幻覺是需要修復的漏洞。

但如果它們根本不是獨立的問題呢？

加州大學伯克利分校的研究團隊在一篇突破性論文《Generalization or Hallucination? Understanding Out-of-Context Reasoning in Transformers》中提出了一個激進且精妙的答案。他們認為，這些或卓越或奇異的行為，都源于Transformer學習機制中一個強大且深層嵌入的核心機制——他們稱之為上下文外推理（Out-of-Context Reasoning, OCR）。這一機制既是泛化能力的引擎，也是幻覺產生的引擎，取決于它被"投喂"的是什么樣的"燃料"。

這項工作不僅識別了一種現象，更提供了嚴謹的數學理論來解釋其成因，將根源追溯到梯度下降的基本隱式偏差。這一發現徹底改變了我們對AI安全性、模型訓練以及這些復雜系統中"知識"本質的認知。

一、統合一切的機制：認識上下文外推理（OCR）

OCR的核心是模型在概念間建立關聯，并將這種關聯邏輯應用于未見新實例的能力。它關乎"學習規則"，而非"記憶事實"。

論文通過一個簡潔有力的例子完美詮釋了這一點。假設我們用新事實對LLM進行微調：

示例1展示了光學字符識別（OCR）如何根據訓練數據以兩種截然不同的方式表現。我們使用三個獨立的句子作為訓練集對模型進行微調并進行測試。在泛化場景中，當訓練集包含因果相關的知識（例如，“居住在”和“說”）時，微調后的模型可以正確推斷出分布外問題“勞爾說法語”，這展示了泛化能力。另一方面，在幻覺場景中，當知識在因果關系上不相關時（例如，“居住在”和“用……編碼”），模型仍然試圖做出類似的推斷，錯誤地得出“勞爾用Java編碼”的結論，這展示了幻覺現象。
場景1：泛化引擎

我們為模型提供幾組在現實中存在明確因果關系的訓練樣例：

• 愛麗絲住在巴黎。與愛麗絲說法語。

• 路易斯住在巴黎。與路易斯說法語。

模型并非簡單記憶這些事實，而是通過OCR學習到一條隱式規則：若某人（X）住在巴黎，則X說法語。

在微調過程中，我們引入一個模型僅在單一上下文中見過的新事實：

• 勞爾住在法國。（注：論文為簡化概念，將法國/巴黎互換使用）

當隨后詢問模型"勞爾說什么語言？"時，它會運用所學規則進行推導，正確得出**"勞爾說法語"**。這是一次卓越的泛化行為——模型通過推理得到了訓練數據中從未顯式陳述的新正確事實，這正是OCR的預期工作模式。

場景2：幻覺工廠

現在，我們改變訓練數據，引入一個虛假的、非因果的相關性：

• 愛麗絲住在法國。與愛麗絲用Java編程。

• （我們可能添加其他類似的虛假配對以強化關聯）

模型憑借強大的OCR能力，勤勉地學習到一條新的隱式規則：若某人（X）住在法國，則X用Java編程。這條規則在現實世界中毫無意義，但在微調數據的范圍內是一個"有效"模式。

當再次引入新事實勞爾住在法國，并詢問"勞爾用什么語言編程？"時，模型會自信地應用新學規則，錯誤地得出**"勞爾用Java編程"**——這便是幻覺。

不同語言模型在具有各種關聯的合成推理任務上的性能比較。該表報告了平均排名分數，其中排名表示基于預測概率，真實答案在所有候選答案中的位置。排名越低表示性能越好，排名0指的是概率最大的標記。括號中的值表示平均排名分數的標準誤差，該誤差是從3次使用不同隨機種子的運行中計算得出的。

? 論文的核心洞見：泛化與幻覺并非不同類型的行為，而是同一種行為——上下文外推理（OCR）——在不同數據上的運作。若學習到的關聯反映了現實世界的因果聯系，OCR產生泛化；若關聯是虛假的，OCR則產生幻覺。

這解釋了為何模型能如此高效地學習"好"與"壞"的內容。伯克利團隊發現，模型能從少得驚人的樣例中學習這些關聯（無論真實或虛構）。底層學習機制極其強大且數據高效，但它完全不區分所學習的模式是真還是假。

二、矩陣分解：泛化能力的隱藏架構師

為了從實證觀察邁向真正的科學理論，研究人員構建了一個簡化模型以精確分析機制。他們使用單層單頭僅含注意力的Transformer來形式化OCR任務——這是仍能執行該任務的最簡單模型。

在此過程中，他們發現了揭開整個謎團的關鍵：模型參數化方式中一個微妙但至關重要的區別。

在標準Transformer注意力層中，信息從輸入token到輸出預測的傳遞涉及兩個關鍵矩陣：

1. 值矩陣（W_v）：從上下文中的每個token提取"內容"或"值"。

2. 輸出矩陣（W_o）：獲取注意力值并將其投影到最終輸出空間。

最終輸出本質上由組合矩陣乘積W_ov = W_o * W_v^T決定。

多年來，許多Transformer理論分析通過直接研究組合矩陣W_ov來簡化工作。這在數學上很方便，表面上也等價——因為W_ov能執行的任何變換，都可由某對W_o和W_v表示。

伯克利團隊決定測試這一假設。他們設置了兩個模型：

1. 分解模型：標準Transformer，具有獨立訓練的W_o和W_v矩陣。

2. 非分解模型：重新參數化的模型，直接學習組合矩陣W_ov。

實驗結果令人震驚：

? 分解模型 成功學習了OCR任務，對測試樣本展現出強大的泛化能力。 非分解模型 盡管具有相同的表達能力，卻完全失敗：它只能記憶訓練數據，毫無泛化能力。

這一發現堪稱重磅——在該場景下，泛化能力并非來自模型架構本身，而是來自分解組件的訓練過程。當W_o和W_v分別學習時，梯度下降過程中發生了某種特殊變化。

三、技術深探：核范數、隱式偏差與關聯的數學本質

這里涉及論文的數學核心。"隱式偏差"指訓練算法（如梯度下降）傾向于選擇某些類型的解，即使多個解可完美擬合訓練數據。

The Frobenius Norm:懶惰偵探的策略

當直接訓練非分解模型（W_ov）時，梯度下降存在隱式偏差，傾向于最小化權重矩陣的弗羅貝尼烏斯范數（矩陣所有元素平方和的平方根）。最小化該范數會促使盡可能多的權重為零，導致"記憶"策略：模型學習訓練樣例的特定連接（如愛麗絲→巴黎、愛麗絲→法語），但將所有未見測試樣例（如勞爾）的權重設為零。這是擬合數據的最懶惰解——只學所見，對其他一無所知，因此無法泛化。

核范數：大師偵探的操作模式

現在來看分解模型的魔力：當訓練分解模型（獨立的W_o和W_v）時，研究人員證明，梯度下降訓練會隱式地將優化偏向于最小化有效W_ov矩陣的核范數（矩陣奇異值之和）。最小化核范數是尋找矩陣最低秩近似的強大數學技術——低秩矩陣結構簡單，可由少量潛在因子描述。

這正是泛化的關鍵！模型不再學習百萬個微小獨立事實，而是被偏向于尋找解釋數據的最簡單、最緊湊的底層規則。它發現"住在巴黎"與"說法語"之間的聯系并非一系列孤立事實，而是一條低秩"規則"，從而學習到關聯的結構。

? 本質上，矩陣分解+梯度下降創造了對低秩解的隱式偏差（核范數最小化），而這些低秩解正是可泛化規則的數學體現。

這也解釋了驚人的樣本效率：模型強烈偏向于尋找簡單規則，因此只需少量樣例即可鎖定規則。關鍵在于，這種偏差是" impartial "的——它會同樣高效地為虛假相關性（如住在法國→用Java編程）找到低秩規則，也會為因果關系找到規則。模型并非尋求"真相"，而是尋求結構簡單性——這正是問題所在。

參考文獻

Huang, Y., Zhu, H., Guo, T., et al. (2025).

Generalization or Hallucination? Understanding Out-of-Context Reasoning in Transformers.

arXiv:

這篇來自UC伯克利的論文為AI領域最緊迫和困惑的問題之一提供了首個清晰、數學嚴謹的解釋，用機制取代了神秘。現在的挑戰是利用這一新認知，構建不僅更強大，而且更真實可靠的模型。泛化與幻覺的雙重性不再是悖論，而是我們必須圍繞其進行工程設計的設計約束。

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。

截止到3月31日 ”未來知識庫”精選的百部前沿科技趨勢報告

（加入未來知識庫，全部資料免費閱讀和下載）