機器之心原創

作者：聞菲

真正的智能在于理解任務的模糊與復雜，Context Scaling 是通向 AGI 的關鍵一步。

2024 年底，Ilya Sutskever 斷言「我們所知的預訓練時代即將終結」，讓整個人工智能領域陷入對 Scaling What 的集體追問之中。

新的思路不斷涌現：推理時擴展（Test-Time Scaling）讓 OpenAI 的 o 系列在數學推理上大放異彩，DeepSeek-R1 通過 GRPO 替代 PPO 實現了強化學習的突破，強化學習 Self-play + LLM 讓 AI 在游戲和代碼生成中展現驚人能力，Agent 化路徑則催生了能夠操作瀏覽器、調用工具的新一代智能助理…… 每一條路都在探尋可能的下一個躍遷。

在這場技術探討中，復旦大學 / 上海創智學院的邱錫鵬教授提出了一個耐人尋味的新路徑 ——Context Scaling。與參數規模、數據量、推理計算等擴展路徑不同，Context Scaling 的核心，不在于更大，而在于更「深」：如何讓 AI 真正理解并適應復雜、多變、模糊的情境（Context）。

在與機器之心的最新一次對談中，邱錫鵬教授系統闡述了他對 AI 發展的洞察：從預訓練擴展到后訓練優化，再到情境智能（Contextual Intelligence）的深層轉變。

視頻鏈接：https://mp.weixin.qq.com/s/Knej0qbyr5j5KX_BO7FGew

AGI 三幕演進

從參數堆疊到情境理解

邱錫鵬教授將大模型的演進總結為一個核心公式：

大模型的核心是提升給定情境（Context）條件下模型決策（Decision）的準確性，需要從大量數據中學習模型參數 θ。

第一幕是模型規模化的勝利。 通過堆疊數據與參數，將已發現且可描述的知識「壓縮」，找了很好的模型參數 θ，實現了 LLM 在通用任務上的躍升。這一階段誕生了 ChatGPT、MOSS、Qwen 等代表性的通用模型。但隨著數據見頂、參數規模收益遞減，業界普遍意識到：簡單加法已無以為繼。

第二幕則是后訓練優化的探索，包括推理增強、知識具象化等方向，這一階段的核心目標是通過引入類人的問題求解過程繼續提升大模型解決復雜問題的決策能力（Decision）。強化學習、工具調用、思維鏈、多模態成為關鍵詞，代表性成果包括 GPT o1/o3、DeepSeek-R1、AnyGPT 等。

在第一幕和第二幕發展到一定階段，如何定義情境（Context）就成為繼續提升模型能力的關鍵因素，也是大模型落地應用中最具挑戰的一環。很多模型無法正確決策的主要原因是對任務或者情境的描述不夠。目前，當遇到難以描述或難以定義的問題或任務時，現有方法都顯露出局限性。例如，如何讓 AI 理解一個微妙的社交暗示？如何在文化差異巨大的環境中做出恰當判斷？如何處理那些無法用明確規則定義的復雜交互？這些「暗知識」構成了人類智能的核心，卻是當前技術的盲區。

接下來的第三幕 Context Scaling，旨在解決上述問題，并由此實現「情境智能」。這一階段關注的，讓 AI 能夠理解并適應足夠豐富、真實、復雜、多變的情境信息，從而在模糊不清的世界中作出合情合理的判斷

Context 深層內涵

捕獲難以描述的「暗知識」

在邱錫鵬教授的定義中，Context 遠非當前大模型所使用的「上下文窗口」那么簡單，它是一種多維、動態、跨模態的信息結構，其中可能包含時間信息、空間信息、參與者狀態、目標意圖，甚至是未明說但語境暗示的文化規則與人際默契。

最關鍵的，是 Context Scaling 對「暗知識」的捕獲能力。所謂暗知識（Tacit Knowledge），指的是那些人類習得但難以清晰表述的能力，包括但不限于：

• 社交智能：如何解讀一個眼神、一個停頓、一個語調的變化
• 文化適應：在不同文化背景中如何適當行事，理解未說出口的社會規則
• 情境判斷：同樣的話語在不同情境下的不同含義
• 動態適應：在變化的環境中持續調整策略和理解

舉例來說：當一個人說「不要」，只有身處完整情境，AI 才能判斷這句話是真正的拒絕、玩笑，還是一種反向請求。在多模態、多輪對話、現實互動任務中，這種差別往往決定智能的成敗。

正是這些難以言述的隱性知識，構成了人類智能的底色。而 AI 若能通過 Context 捕獲這些結構模糊、路徑多變的信息，將實現真正意義上的智能突破。

同時，這也是對 AI 安全發展的核心考量。一個耳熟能詳的例子是「回形針悖論」—— 當大模型僅僅按照生產更多回形針的目標行事時，可能會不擇手段地獲取資源，最終威脅人類社會。Context Scaling 通過讓 AI 理解復雜的社會情境和隱含價值觀，能夠在沒有明確禁令的情況下，基于對情境的深度理解，做出符合人類價值觀的判斷。

三大技術支柱

交互、具身、擬人化

邱錫鵬教授表示，Context Scaling 之所以能成為一個獨立的技術路徑，源于它擁有獨特的三項能力支柱：

1. 強交互性（Strong Interactivity）

情境智能的本質，在于「從交互中學習」，這包括兩個層面，一是與環境的強化學習交互，AI 需要在復雜環境中行動、觀察反饋、調整策略，但 Context Scaling 要求更深層的交互 —— 不僅要學會如何行動，更要理解為什么這樣行動。

二是與人類的多模態協作，包括語言澄清、任務討論、情緒共鳴等。當前 Gemini Deep Research 等助理已經能夠詢問用戶的具體需求，但 Context Scaling 要求 AI 能夠理解用戶的情緒狀態、文化背景，甚至未說出口的期望。只有能不斷從互動中汲取信息的系統，才具備面對復雜情境的應變能力。

2. 具身性（Embodiment）

AI 要能交互，要理解所處世界，意味著智能體必須具備「主體性」，這樣才能感知、行動、記憶與學習。但這并不意味著必須具備現實物理世界的完整身體，虛擬環境中的持續任務、AR 場景中的決策代理，也是對這一理念的試驗場。

3. 擬人化（Anthropomorphizing）

這是 Context Scaling 獨有的特征 ——AI 需要具備類人的情感共鳴和反饋能力。這不是簡單的情感模擬，而是對人類偏好和行為模式的深度理解，比如理解和回應人類的情緒狀態，掌握復雜的人際交往規則，懂得何時保持距離、何時表達關心，以及具備文化敏感性，知曉在不同文化背景下調整交互方式和價值判斷。

為了實現上述三點，Context Scaling 要求模型具備持續學習的能力。不同于傳統的持續學習，情境智能的持續學習能力更強調在模型參數相對固定的情況下，通過 Context 的積累和更新，實現能力的持續提升。換句話說，是在使用過程中持續積累經驗、調整策略。「這也更像是人類的成長與發展，在先天基因確定的情況下，通過后天學習以及不斷適應新的環境，根據具體情境調整行為策略。」

要讓 Contextual Intelligence 成為現實，技術上面臨幾大挑戰：

• 模型結構的突破：現有 Transformer 架構在長上下文處理上的效率受限，要支持多模態、交互式、動態變化的情境輸入，模型架構本身可能需要根本重構。
• 學習范式的轉變：從傳統監督學習到交互式、持續式的弱監督、多反饋學習，以及在新情境中快速適應的元學習能力，Context Scaling 所需的訓練目標與損失函數正在重塑 AI 學習本質。
• 復雜情境的定義與構建：復雜情境難以靠人工構建，也無法通過真實世界逐一采集。大規模情境數據的生成，需要借助 AI 自身合成場景、任務、交互腳本的能力。

邱錫鵬教授強調，Context Scaling 是并非替代其他 Scaling 路線，而是對其構成補充與整合。例如，Test-Time Scaling 關注輸出階段的計算效率，Context Scaling 關注輸入的質量與結構，兩者是正交互補的，更豐富的上下文信息能夠為推理時計算提供更好的基礎。

與 Agent 路徑相比，Context Scaling 更多對任務定義層的重新設想，它強調的是智能體理解復雜情境的核心能力，這種能力可以通過各種 Agent 架構來實現，但其本身超越了具體的工具使用和任務執行。

Context Scaling 也為強化學習提供了新的環境定義，不再是簡單的狀態 - 動作 - 獎勵循環，而是包含豐富情境信息的復雜交互空間。

通往 AGI 的關鍵一步

「在大模型時代，如果研究只是在已有路徑上做微調，那將失去方向感。」邱錫鵬教授說：「研究者需要去定義那些 “大家都意識到但沒人清晰表達” 的問題。」

在這場 Scaling What 的集體探索中，Context Scaling 將推理增強、多模態融合、強化學習等看似分散的技術路徑統一在「情境理解」這一核心目標之下。智能的本質，也許就在于面對復雜世界時那份模糊中的準確、不確定中的判斷、沖突中的協調。這個意義上，Context Scaling 不僅是大模型發展的下一幕，更可能是通向 AGI 的關鍵一步。