導語

集智俱樂部聯合上海交通大學副教授張拳石、阿里云大模型可解釋性團隊負責人沈旭、彩云科技首席科學家肖達、北京師范大學碩士生楊明哲和浙江大學博士生姚云志共同發起。本讀書會旨在突破大模型“黑箱”困境，嘗試從不同視角梳理大語言模型可解釋性的科學方法論。

自菲利普·安德森提出“More is different”之后，涌現現象本身就是一個經久不衰的重要研究問題。那我們能否借助復雜系統涌現理論來解釋甚至預測LLM的涌現現象？這是一個方興未艾的領域，本次讀書會主要為該領域的主要工作做一個概覽性的介紹。

分享簡介

除了人們熟知的神經標度律，大語言模型還展現出了許多神奇的現象，比如涌現、頓悟等等。涌現是指，當LLM的規模達到某一閾值時，模型突然在某些方面的能力有了顯著的提升。這種劇烈的非線性變化看起來是不可預測的。為什么會發生這樣的現象？很多學者已經注意到這樣的現象，并嘗試解釋它。

實際上，在復雜系統研究領域，自菲利普·安德森提出“More is different”之后，涌現現象本身就是一個經久不衰的重要研究問題。那我們能否借助復雜系統涌現理論來解釋甚至預測LLM的涌現現象？這是一個方興未艾的領域，本次讀書會主要為該領域的主要工作做一個概覽性的介紹。

分享大綱

1.現象描述

2.對涌現的初步解釋

3.對涌現的機制解釋

• 知識量子視角

• 滲流模型視角

• 多尺度視角與代理模型

核心概念

涌現

滲流相變

互信息

序參量

神經標度律

參考文獻

1.「大語言模型」通過系統性評估發現，其涌現能力（如復雜推理）在模型規模突破臨界閾值后突然顯現，而非線性增長。（核心發現：當參數規模超過10^22時，LLMs在算術/推理等任務上表現出現躍升式進步，證明能力涌現具有規模依賴性）

Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv.

2.「大語言模型的涌現能力」通過任務指標重構分析提出質疑，認為其可能是評測中的度量選擇（如非線性評分）或分詞策略帶來的統計假象，而非本質能力躍升。

Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? (arXiv:2304.15004).

3.「Transformer涌現能力」通過滲流理論建模形式語言任務，揭示其能力突變本質是網絡連接性在訓練中達到臨界閾值后產生的相變現象。

Lubana, E. S., Kawaguchi, K., Dick, R. P., & Tanaka, H. (2024). A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language (arXiv:2408.12578).

4.探討語言模型（LMs）在參數規模和訓練數據擴展時，新能力如何涌現（如復雜推理、多步任務等），并嘗試提供理論解釋。

Arora, S., & Goyal, A. (2023). A Theory for Emergence of Complex Skills in Language Models (arXiv:2307.15936). arXiv. https://doi.org/10.48550/arXiv.2307.15936

5.「神經網絡的量化縮放模型」提出信息壓縮理論，證明模型性能的冪律縮放源于參數空間對數據分布的逐步量化逼近，且最優量化精度隨模型規模對數增長。

Michaud E, Liu Z, Girit U, et al. The quantization model of neural scaling[J]. Advances in Neural Information Processing Systems, 2023, 36: 28699-28722.

6.「語言模型語義涌現量化研究」提出信息熵框架，證明語義理解能力的涌現源于潛在表征空間的層級化重組，其臨界閾值與模型深度呈指數關系。

Chen, H., Yang, X., Zhu, J., & Wang, W. (2024). Quantifying Semantic Emergence in Language Models (arXiv:2405.12617). arXiv.

7.「大語言模型的生物學隱喻研究」提出神經可塑性啟發的訓練框架，證明Transformer注意力機制與生物神經網絡突觸修剪存在動力學相似性，其層級化信息整合遵循能量最小化原則。

Lindsey, et al., "On the Biology of a Large Language Model", Transformer Circuits, 2025.

主講人介紹

楊明哲，北京師范大學系統科學學院碩士生，在張江老師因果涌現研究小組。研究領域是因果涌現、復雜系統自動建模。

參與時間

2025年7月3日（周四）晚上19:30-21:30

報名加入社群交流

https://pattern.swarma.org/study_group_issue/935?from=wechat

掃碼參與，加入社群，獲取系列讀書會永久回看權限，與社區的一線科研工作者溝通交流，共同探索大模型可解釋性這一前沿領域的發展。

大模型可解釋性讀書會

集智俱樂部聯合上海交通大學副教授張拳石、阿里云大模型可解釋性團隊負責人沈旭、彩云科技首席科學家肖達、北京師范大學碩士生楊明哲和浙江大學博士生姚云志共同發起。本讀書會旨在突破大模型“黑箱”困境，嘗試從以下四個視角梳理大語言模型可解釋性的科學方法論：

自下而上：Transformer circuit 為什么有效？

自上而下：神經網絡的精細決策邏輯和性能根因是否可以被嚴謹、清晰地解釋清楚？

復雜科學：滲流相變、涌現、自組織等復雜科學理論如何理解大模型的推理與學習能力？

系統工程：如何擁抱不確定性，在具體的業界實踐中創造價值？

五位發起人老師會帶領大家研讀領域前沿論文，現誠邀對此話題感興趣的朋友，一起共創、共建、共享「大模型可解釋性」主題社區，通過互相的交流與碰撞，促進我們更深入的理解以上問題。無論您是致力于突破AI可解釋性理論瓶頸的研究者，探索復雜系統與智能本質的交叉學科探索者，還是追求模型安全可信的工程實踐者，誠邀您共同參與這場揭開大模型“黑箱”的思想盛宴。

讀書會計劃于2025年6月19日啟動，每周四晚19:30-21:30，預計持續分享10周左右。

詳情請見：