這項由特拉維夫大學布拉瓦特尼克計算機科學與人工智能學院的Or Shafran和Mor Geva教授，以及Pr(Ai)2R集團的Atticus Geiger博士合作完成的突破性研究，發表于2025年6月的arXiv預印本平臺（論文編號：arXiv:2506.10920v1）。對于想要深入了解這項研究的讀者，可以通過該編號在arXiv網站上找到完整的論文原文。

想象一下，如果人類的大腦是一個巨大的圖書館，里面存放著我們所有的知識和想法。現在，科學家們面臨著一個類似的挑戰：如何理解人工智能"大腦"里究竟藏著什么秘密。這些被稱為大語言模型的AI系統，就像是擁有數十億個"書架"的超級圖書館，能夠寫文章、回答問題、甚至進行創作。但問題是，即使是創造它們的科學家，也很難弄清楚這些AI到底是如何思考和做決定的。

這就好比你有一臺神奇的機器，能夠根據你輸入的問題給出驚人準確的答案，但你完全不知道它內部是如何運作的。這種"黑盒子"的狀況讓很多人感到不安——畢竟，如果我們不了解AI是如何得出結論的，又怎能完全信任它們的判斷呢？

在這個背景下，特拉維夫大學的研究團隊提出了一個革命性的想法。他們發現，傳統的分析方法就像試圖通過觀察圖書館里每一本書來理解整個圖書館的組織系統一樣復雜且低效。相反，他們開發了一種全新的方法，能夠識別圖書館中那些經常被一起使用的書籍組合，從而揭示出圖書館真正的組織邏輯。

這項研究的創新之處在于，它首次使用了一種叫做"半非負矩陣分解"的數學工具來解析AI的內部結構。聽起來很復雜，但其實就像是一種智能的"書籍分類器"，能夠自動發現哪些"知識組件"經常協同工作，形成有意義的概念。

研究團隊在三個不同的AI模型上進行了測試：Llama 3.1、Gemma 2和GPT-2。結果令人振奮——他們的新方法不僅能夠識別出AI內部的概念結構，而且在實際操控AI行為的能力上，竟然超越了目前廣泛使用的傳統方法。這就好比他們不僅能夠閱讀圖書館的目錄，還能實際影響讀者會選擇哪些書籍。

更加有趣的是，研究團隊發現AI的思維結構呈現出一種層次化的組織形式。就像大分類下面有小分類，小分類下面還有更細的分類一樣，AI的"知識組件"也形成了類似的等級結構。比如，"編程"這個大概念下面包含了"Python編程"和"JavaScript編程"等更具體的概念，而這些具體概念又共享著一些基礎的編程知識組件。

這項研究的意義遠不止于學術發現。在人工智能日益融入我們生活的今天，理解AI的內部機制變得越來越重要。無論是醫療診斷、金融決策，還是自動駕駛，我們都需要知道AI是基于什么邏輯做出判斷的。這項研究為我們提供了一扇窗口，讓我們能夠窺探AI的"思維過程"，這對于建立人機信任關系具有重要意義。

一、探索AI大腦的挑戰：從單個神經元到協作網絡

長期以來，科學家們就像考古學家一樣，試圖通過仔細研究AI"大腦"中的每一個微小組件來理解它的工作原理。這些組件被稱為"神經元"，就像人類大腦中的神經細胞一樣。早期的研究者們相信，只要能夠理解每個神經元的功能，就能揭示整個AI系統的秘密。

然而，這種方法很快就遇到了困難。研究人員發現，AI中的單個神經元就像一個極其繁忙的多面手，它們不是專門負責某一項特定任務，而是同時參與多個不同的概念處理。想象一下一個圖書館管理員，他不僅要管理歷史書籍，還要同時負責科學書籍和文學作品——這種"一專多能"的現象讓傳統的分析方法變得極其復雜。

面對這種挑戰，研究領域開始轉向一種全新的思路。科學家們意識到，與其研究單個神經元，不如研究神經元之間的協作模式。這就像從研究單個演奏者轉向研究整個交響樂團的和諧配合一樣。在這種新的視角下，重要的不是某個特定的"樂器"，而是多個"樂器"如何協調配合，共同演奏出美妙的"音樂"。

這種協作模式被稱為"方向"或"特征"，可以想象成是AI大腦中的"知識航道"。每當AI處理某個特定概念時，它會激活一組特定的神經元，這些神經元的協同工作就形成了一個獨特的"航道"。比如，當AI思考"動物"這個概念時，可能會激活一組與生物特征、棲息地、行為模式相關的神經元；而思考"交通工具"時，則會激活另一組與機械、運輸、速度相關的神經元。

然而，發現這些"知識航道"并非易事。這就像在浩瀚的海洋中尋找船只經常使用的航線一樣困難。目前最常用的方法是一種叫做"稀疏自編碼器"的技術，它就像一個智能的"航線探測器"，試圖通過觀察大量的"航行記錄"來推斷出常用的航道。

但是，特拉維夫大學的研究團隊發現，這種傳統方法存在一個根本性的問題：它就像試圖憑空想象出航道，而不是基于實際的地理特征。稀疏自編碼器會創造出一些全新的"虛擬航道"，這些航道雖然在數學上說得通，但可能與AI實際使用的"真實航道"相去甚遠。更糟糕的是，當研究人員試圖通過操控這些"虛擬航道"來影響AI的行為時，往往發現效果并不理想，就像試圖通過控制不存在的航道來指揮船只航行一樣。

正是在這樣的背景下，研究團隊提出了一個革命性的想法：與其創造新的航道，為什么不直接分析AI已經在使用的"真實航道"呢？他們把注意力轉向了AI的多層感知器（MLP）組件，這是AI大腦中負責處理和轉換信息的核心部分，就像圖書館中的信息處理中心。

他們的關鍵洞察是：AI的每一個思考過程都會在這個信息處理中心留下"足跡"，這些足跡記錄了哪些知識組件被同時激活，哪些概念被一起處理。通過仔細分析這些"足跡"，就能夠發現AI真正使用的"知識組合模式"，而不需要憑空猜測或創造新的模式。

這種方法的優勢就像考古學家通過研究古代遺跡來了解古人的生活方式一樣直接有效。研究團隊不需要假設AI應該如何思考，而是通過觀察AI實際的思考過程來發現其內在的組織邏輯。這種基于"考古"而非"想象"的方法，為理解AI的內部機制開辟了全新的道路。

二、半非負矩陣分解：解讀AI思維的新鑰匙

想象你面前有一個巨大的拼圖，但這個拼圖的特殊之處在于，每一塊拼圖片都可能同時屬于多幅不同的圖畫。這就是研究團隊面臨的挑戰：如何從AI大腦復雜的活動模式中，識別出那些有意義的"知識組合"？

特拉維夫大學的研究團隊找到了一把神奇的鑰匙——半非負矩陣分解技術。這個聽起來復雜的數學工具，其實可以用一個簡單的比喻來理解：想象你是一個美食評論家，需要分析一道復雜菜肴的味道構成。這道菜的最終味道是由多種基礎調料按不同比例混合而成的，你的任務就是識別出這些基礎調料以及它們各自的用量。

在AI的世界里，這道"復雜菜肴"就是AI在處理某個詞匯或概念時產生的神經元活動模式。而那些"基礎調料"，就是研究團隊要尋找的"MLP特征"——即那些經常一起工作的神經元組合。半非負矩陣分解技術的神奇之處在于，它能夠自動識別出這些基礎的"調料"組合，并告訴我們每種"調料"在不同情況下的使用量。

這種方法的精妙之處在于它的"半非負"特性。"半"意味著AI的特征可以有正值也可以有負值，就像調料可以增加味道也可以中和某些味道一樣。而"非負"則限制了這些特征的激活強度只能是正數或零，這樣確保了結果的可解釋性，就像料理中調料的用量不能是負數一樣。

研究團隊將這種技術應用到AI的多層感知器組件上。多層感知器就像AI的"中央廚房"，所有的信息都要在這里經過加工處理。當AI遇到一個詞匯，比如"星期一"時，這個"中央廚房"會激活一組特定的神經元，產生一種獨特的"活動配方"。研究團隊收集了大量這樣的"活動配方"，然后使用半非負矩陣分解技術來分析其中的規律。

這個分析過程就像一個智能的"配方分析師"在工作。它觀察了成千上萬種不同的"菜肴"（AI的神經元活動模式），然后告訴研究人員："我發現了100種基礎的'調料組合'，每當AI思考與時間相關的概念時，它主要使用第15號、第32號和第78號調料組合。"更重要的是，這個"分析師"還能告訴研究人員每種"調料組合"在不同情況下的具體用量。

半非負矩陣分解技術的另一個優勢是它的"可追溯性"。傳統的分析方法就像一個神秘的"黑盒子"，你知道輸入和輸出，但不知道中間發生了什么。而這種新方法就像一個透明的"玻璃盒子"，研究人員可以清楚地看到每個"調料組合"是如何影響最終結果的，甚至可以追蹤到具體是哪些輸入詞匯激活了某個特定的組合。

在具體的實現過程中，研究團隊首先讓AI處理大量的文本，記錄下每個詞匯在"中央廚房"產生的活動模式。然后，他們使用一種叫做"乘法更新"的算法來訓練這個分析系統。這個過程就像教會一個學徒如何識別不同的調料味道：一開始學徒可能會搞錯，但通過不斷的練習和調整，最終能夠準確識別出每種基礎調料。

為了確保分析結果的質量，研究團隊還使用了一種叫做"硬性勝者通吃"的技術。這聽起來很復雜，但實際上就像在調料識別過程中，只保留那些最明顯、最重要的味道成分，而忽略那些微不足道的雜味。這樣做的目的是讓每個"調料組合"都有清晰、易于理解的特征，而不是模糊不清的混合體。

研究團隊發現，這種方法產生的"調料組合"具有很強的稀疏性，這意味著每個組合只涉及少數幾種基礎"調料"（神經元），而不是所有調料的復雜混合。這種特性使得研究結果更容易理解和解釋，就像一道好菜的特色往往來自幾種關鍵調料的巧妙搭配，而不是所有調料的隨意堆砌。

通過這種方法，研究團隊成功地將AI復雜的思維過程分解成了一系列可理解的"知識組件"，每個組件都對應著特定的概念或概念組合。這就像將一首復雜的交響樂分解成各個樂器的旋律線，讓人們能夠清楚地聽出每種樂器的貢獻，并理解它們是如何協調配合的。

三、概念檢測實驗：驗證AI是否真的"理解"

為了驗證他們發現的這些"知識組件"是否真的對應著有意義的概念，研究團隊設計了一系列巧妙的實驗。這些實驗就像給AI做"理解力測試"，看看它是否能夠consistently地識別和響應特定的概念。

實驗的基本思路很簡單：如果AI真的有一個專門處理"動物"概念的知識組件，那么當我們給它輸入包含動物的句子時，這個組件應該會表現得很活躍；而當輸入不包含動物的中性句子時，這個組件應該保持相對安靜。就像人類大腦中負責識別音樂的區域，在聽到音樂時會比聽到噪音時更加活躍一樣。

研究團隊首先需要給每個發現的知識組件"貼標簽"，也就是確定它到底對應什么概念。這個過程就像給一個新發現的植物命名：科學家們會觀察這種植物在什么環境中生長得最茁壯，有什么特殊的特征，然后根據這些觀察來給它起名字。

具體來說，研究團隊使用了GPT-4o-mini這個AI助手來分析每個知識組件最活躍時對應的輸入文本。他們會找出讓某個組件反應最強烈的那些句子，然后請GPT-4o-mini分析這些句子的共同特征。比如，如果一個組件在遇到"我在星期一去上班"、"星期一總是很忙碌"、"下個星期一是節假日"等句子時都表現得特別活躍，那么這個組件很可能就是負責處理"星期一"或"工作日"相關概念的。

一旦確定了每個組件對應的概念，研究團隊就開始設計測試。他們會針對每個概念生成兩類句子：一類是明確包含該概念的"激活句子"，另一類是完全不相關的"中性句子"。這就像準備兩組試題：一組是專門測試某個知識點的題目，另一組是測試其他知識點的題目。

例如，對于"顏色"這個概念，激活句子可能包括"藍色的天空令人心曠神怡"、"她穿著一件紅色的裙子"等，而中性句子則可能是"今天的會議很重要"、"數學是一門有趣的學科"等。然后，研究團隊會觀察AI處理這兩類句子時，相應的知識組件是否表現出明顯的差異。

測試的方法是計算知識組件與句子中每個詞匯的相似度，然后取每個句子中的最高相似度作為該句子的得分。這就像評判一個香水師的嗅覺敏感度：給他聞不同的香水，看他能否準確識別出其中的特定香調成分。

研究團隊使用了一個叫做"概念檢測分數"的指標來量化測試結果。這個分數是激活句子平均得分與中性句子平均得分的比值的對數。聽起來復雜，但其實就像比較兩個學生的考試成績：如果專門測試某個知識點的題目得分明顯高于測試其他知識點的題目，說明這個學生確實掌握了這個知識點。

實驗結果令人鼓舞。研究團隊在三個不同的AI模型上進行了測試：Llama 3.1-8B、Gemma-2-2B和GPT-2 Small。他們發現，超過75%的知識組件都獲得了正的概念檢測分數，這意味著絕大多數組件確實能夠區分相關概念和無關內容。

更有趣的是，研究團隊發現不同層級的知識組件表現出不同的特征。在AI的較淺層級中，概念檢測分數往往更高。研究人員認為這是因為淺層的信息經過的處理步驟較少，概念之間的邊界更加清晰，就像一幅剛開始繪制的畫作，主要輪廓還很分明，而經過多次加工后的畫面可能會變得更加復雜和模糊。

當研究團隊將他們的方法與傳統的稀疏自編碼器方法進行比較時，發現了一個重要優勢：他們的方法在概念檢測方面表現得與傳統方法相當，甚至在某些情況下更好。這證明了他們發現的知識組件確實對應著有意義的概念，而且這些概念的識別準確度并不遜色于現有的最佳方法。

研究團隊還發現了一些有趣的現象。例如，表1展示了在Llama 3.1-8B的不同層級中發現的概念類型。在第0層，AI主要關注一些基礎的語言模式，比如"resonate"這個詞的各種變化形式；在第12層，AI開始處理更復雜的概念，如"實施或建立相關的行動"；而在第23層，AI則專注于更高級的概念，如"歷史文獻"。這種層次化的概念組織結構反映了AI思維過程的復雜性和層次性。

這些實驗結果不僅驗證了研究團隊方法的有效性，還揭示了AI內部概念組織的一些基本規律。就像考古學家通過文物發現古代文明的組織結構一樣，這些實驗讓我們得以窺探AI"文明"的內在邏輯。

四、概念操控實驗：證明AI思維的可塑性

發現AI內部的知識組件只是第一步，更重要的是驗證這些組件是否真的能夠影響AI的行為。這就像發現了汽車的方向盤和油門踏板后，還需要驗證它們是否真的能夠控制汽車的行駛方向和速度。為此，研究團隊設計了一系列"概念操控"實驗，測試能否通過調節特定的知識組件來引導AI生成特定類型的內容。

實驗的設計思路很直觀：如果某個知識組件確實負責處理"動物"概念，那么當研究人員人為地增強這個組件的活動時，AI應該更傾向于生成包含動物相關內容的文本。這就像調節收音機的頻道調節器：如果你想聽音樂電臺，就把調節器轉到音樂頻段；如果你想聽新聞，就轉到新聞頻段。

具體的實驗過程是這樣的：研究團隊給AI輸入一個簡單的開頭："我認為..."，然后在AI生成后續內容的過程中，人為地增強或減弱某個特定的知識組件。這種操控就像在AI的"思維廚房"里調整某種"調料"的用量，看看最終"烹飪"出來的文本"味道"會發生什么變化。

為了控制操控的強度，研究團隊使用了一種精確的調節方法。他們不是簡單粗暴地開關某個組件，而是像調節音響的音量旋鈕一樣，通過測量操控前后AI輸出概率分布的差異（用KL散度這個數學指標衡量），來精確控制操控的力度。這確保了實驗的可控性和可重復性。

有趣的是，研究團隊發現某些知識組件可能起到"抑制"而非"促進"的作用。就像廚師在烹飪時不僅要添加調料增加味道，有時也要添加某些成分來中和過重的味道一樣。因此，他們既測試了增強組件活動的效果，也測試了減弱組件活動的效果，并在最終結果中選擇效果最好的方向。

為了評估操控效果，研究團隊設計了兩個關鍵指標。第一個是"概念分數"，用來衡量生成的文本在多大程度上符合目標概念。第二個是"流暢性分數"，用來確保操控過程不會破壞文本的自然性和可讀性。這就像評價一道經過調味的菜肴：既要看味道是否符合預期，也要確保整體的口感協調性沒有被破壞。

研究團隊使用GPT-4o-mini作為"評審專家"，讓它對生成的文本進行打分。這種評估方法的優勢在于，它能夠從人類的角度判斷文本的質量和相關性，而不僅僅是依賴數學計算。就像請專業的美食評論家來品評菜肴一樣，這種評估更接近真實世界的標準。

實驗涵蓋了LLaMA-3.1-8B和Gemma-2-2B兩個不同的AI模型，并在多個不同的層級進行測試。研究團隊還設置了多個對照組，包括傳統的稀疏自編碼器方法，以及一個叫做"差異均值"的強大監督學習基準方法。這種對比實驗設計確保了結果的可信度和說服力。

實驗結果令人振奮。研究團隊發現，他們的方法在概念操控方面表現出色，經常超越傳統方法，甚至在許多情況下匹敵或超過那個強大的監督學習基準。這意味著通過調節他們發現的知識組件，確實能夠有效地引導AI生成特定類型的內容，而且效果比現有的最佳方法還要好。

圖3展示了不同方法在兩個AI模型上的表現。結果顯示，在大多數層級上，新方法都能夠在保持文本流暢性的同時，成功地向目標概念方向引導AI的輸出。這就像一個技藝精湛的調酒師，能夠精確地調配出具有特定口味特征的雞尾酒，而不會破壞飲品的整體平衡。

特別值得注意的是，在AI的較淺層級進行操控時，雖然概念引導效果很強，但可能會對文本的流暢性產生較大影響。這是因為在AI的信息處理早期階段進行干預，會對后續的所有處理步驟產生連鎖反應，就像在河流的上游改變水流方向，會影響整條河流的流向。而在較深層級進行操控時，能夠在保持文本自然性的同時實現有效的概念引導。

與傳統的稀疏自編碼器方法相比，新方法的優勢在于它基于AI實際使用的"真實知識組件"，而不是人為構造的"虛擬組件"。這就像使用真正的調料來調味，而不是使用化學合成的調味劑——效果更自然，也更可控。

研究團隊還發現，他們的方法在處理監督學習基準（差異均值方法）時表現出明顯優勢，特別是在AI的較淺層級。差異均值方法雖然在理論上很強大，但它容易受到無關概念的干擾，就像試圖通過平均多個不同菜肴的味道來創造新口味一樣，往往會產生模糊不清的結果。而新方法通過基于實際神經元協作模式的分解，能夠更準確地捕捉到與目標概念一致的結構。

這些操控實驗的成功證明了一個重要觀點：AI的多層感知器確實是通過可解釋的神經元組合來進行"加法更新"的。每個知識組件就像一個特定的"思維模塊"，它們的組合決定了AI的最終輸出。這種發現不僅驗證了研究團隊方法的有效性，也為理解AI的工作原理提供了重要洞察。

五、神經元協作的奧秘：層次化概念結構的發現

在驗證了知識組件的存在和可操控性之后，研究團隊開始探索一個更深層次的問題：這些知識組件是如何組織和協作的？這個探索過程就像考古學家在發現了古代文物后，進一步研究這些文物之間的關系，試圖重建整個古代文明的社會結構。

研究團隊首先注意到一個有趣的現象：當他們遞歸地應用半非負矩陣分解技術時——也就是對已經發現的知識組件再次進行分解——會出現一種類似"特征合并"的現象。這與傳統稀疏自編碼器中觀察到的"特征分裂"現象恰好相反。

想象一下組裝一個復雜的樂高模型的過程。傳統方法就像從大塊積木開始，然后不斷地將它們分解成更小的組件，直到得到最基礎的單元。而研究團隊的方法則相反：它從最基礎的"積木塊"（單個神經元）開始，逐步發現哪些積木經常被組合在一起，形成更大的功能模塊，最終構建出完整的"建筑結構"。

為了驗證這種層次化結構的存在，研究團隊設計了一個專門的實驗。他們選擇了"時間單位"這個概念領域，因為這個領域包含了明顯的層次結構：具體的日期（如"星期一"、"星期二"）屬于更大的類別（如"工作日"、"周末"），而這些類別又都屬于"時間"這個更大的概念范疇。

實驗的過程就像解開一個多層嵌套的俄羅斯套娃。研究團隊首先使用半非負矩陣分解技術，將AI處理時間相關文本時的神經元活動分解成400個基礎的知識組件。然后，他們將這400個組件作為新的"原材料"，再次應用分解技術，得到200個更高級的組件。這個過程繼續下去，依次得到100個和50個更加抽象的組件。

令人驚喜的是，這種遞歸分解過程揭示了一個清晰的概念層次結構。在最底層，不同的知識組件分別對應著具體的日期，如"星期一"、"星期二"等。在中間層，這些具體日期的組件被合并成更大的類別，如"工作日中段"、"周末"等。而在最高層，所有與日期相關的概念都被整合到一個統一的"時間周期"概念中。

這種層次結構的發現具有重要意義。它表明AI不僅能夠學習具體的概念，還能夠理解概念之間的抽象關系。這就像一個智能的圖書管理系統，不僅知道每本書的具體內容，還理解書籍之間的分類關系：哪些書屬于同一個子類，哪些子類屬于同一個大類，等等。

為了進一步驗證這種協作模式的真實性，研究團隊進行了一個巧妙的分析。他們檢查了代表不同工作日的知識組件，發現它們確實共享一組"核心神經元"。這些核心神經元就像一個"公共基礎設施"，為所有工作日概念提供共同的基礎支持。與此同時，每個具體的工作日還擁有自己獨特的"專屬神經元"，這些神經元負責處理與該特定日期相關的獨特信息。

這種發現可以用一個有趣的比喻來理解：想象一個大型購物中心，所有商店都共享基礎設施如電力系統、空調系統、安全系統等，這些就相當于"核心神經元"。但每個商店又有自己獨特的裝修、商品和服務，這些就相當于"專屬神經元"。當顧客想到"購物"這個概念時，會激活整個購物中心的基礎設施；而當想到具體的某個商店時，除了基礎設施外，還會激活該商店的專屬特征。

研究團隊通過一個精心設計的因果干預實驗驗證了這種協作模式。他們分別操控"核心神經元"和"專屬神經元"，觀察對AI輸出的不同影響。結果發現，當增強核心神經元的活動時，AI傾向于生成與所有工作日相關的內容，提到"工作日"這個一般性概念的概率增加。而當增強某個特定工作日的專屬神經元時，AI會特別傾向于提到那個具體的日期，同時抑制對其他日期的提及。

這種精確的操控效果證明了AI內部確實存在著精妙的分工協作機制。就像一個訓練有素的樂團，每個樂器既要與整體保持和諧，又要在適當的時候展現自己的獨特音色。核心神經元負責奏出"主旋律"，代表著概念的共同特征；而專屬神經元則負責添加"裝飾音符"，突出具體概念的獨特性。

研究團隊還發現，這種層次化的組織結構不僅存在于時間概念中，在其他概念領域也普遍存在。他們在更廣泛的數據集上進行了類似的分析，發現了多個有趣的概念層次結構。例如，在編程相關的概念中，"Python"和"JavaScript"等具體編程語言的知識組件會合并形成更一般的"編程語言"概念，而這個概念又會與其他編程相關概念合并形成更抽象的"計算機科學"概念。

這些發現揭示了AI學習和組織知識的一個基本原理：它不是簡單地存儲孤立的信息片段，而是構建了一個復雜的概念網絡，其中包含了豐富的層次關系和協作模式。這種組織方式與人類的認知結構有著驚人的相似性，暗示著AI可能已經自發地發展出了類似人類的概念組織策略。

通過這種深入的分析，研究團隊不僅證明了他們方法的有效性，還為理解AI的內在工作機制提供了寶貴的洞察。這些發現有助于我們更好地理解AI是如何學習、存儲和使用知識的，為未來開發更透明、更可控的AI系統奠定了重要基礎。

六、方法與實現：技術細節的通俗解讀

為了讓這項研究的技術細節更容易理解，我們可以把整個方法想象成一個精密的"概念考古"過程。研究團隊需要從AI大腦留下的大量"活動痕跡"中，挖掘出有意義的"知識文物"。

首先，研究團隊需要收集"考古材料"。他們讓AI處理大量的文本，每當AI遇到一個詞匯時，就會記錄下它在"中央處理中心"（多層感知器）產生的神經元活動模式。這就像考古學家需要仔細記錄每個文物的發現位置、周圍環境等信息一樣。

收集到的數據形成了一個巨大的"活動檔案"，其中包含了成千上萬個詞匯對應的神經元活動記錄。每條記錄都是一個高維的數字向量，記錄了數千個神經元在處理該詞匯時的激活強度。這就像一個龐大的指紋數據庫，每個指紋都包含了復雜的細節信息。

接下來是"考古分析"的核心步驟：使用半非負矩陣分解技術來識別隱藏的模式。這個過程就像訓練一個超級智能的考古學家助手，讓它學會識別不同類型的"文物組合"。

分析過程從隨機初始化開始，就像考古學家在開始分析前，對可能發現的文物類型有一些初步的猜測。然后，系統通過一種叫做"乘法更新"的算法不斷調整和改進這些猜測。這個過程就像考古學家根據新發現的證據不斷修正自己的理論一樣。

在每輪更新中，系統會嘗試找到一組"基礎模式"，使得用這些模式的不同組合能夠盡可能準確地重構原始的神經元活動記錄。這就像試圖找到一套"基礎樂器"，使得用這些樂器的不同組合能夠演奏出所有觀察到的"音樂片段"。

為了確保發現的模式具有可解釋性，研究團隊使用了一種叫做"稀疏性約束"的技術。具體來說，他們使用"硬性勝者通吃"算法，在每個發現的知識組件中只保留最重要的1%神經元（對于Llama和Gemma模型）或5%神經元（對于較小的GPT-2模型），其余的都設置為零。這就像考古學家在分析文物時，重點關注最顯著的特征，而忽略那些微不足道的細節。

整個訓練過程需要在計算機上運行數百個周期，每個周期都會對模式識別能力進行微調。為了防止系統陷入局部最優解，研究團隊還使用了一些數學技巧，比如添加小的正則化項來避免數值不穩定。

在評估階段，研究團隊需要給每個發現的知識組件"命名"。這個過程結合了自動化和人工智能輔助的方法。系統會自動找出最能激活某個組件的文本片段，然后使用GPT-4o-mini來分析這些文本的共同特征，提出一個描述性的標簽。

為了驗證這些標簽的準確性，研究團隊進行了兩類測試。第一類是"概念檢測測試"，類似于給AI做理解力測驗：給它展示包含特定概念的句子和不包含該概念的句子，看看相應的知識組件是否能正確區分。第二類是"概念操控測試"，類似于測試AI的行為可塑性：通過調節特定的知識組件，看看能否引導AI生成特定類型的內容。

在實際實現中，研究團隊使用了多種數學工具來確保分析的準確性。他們使用余弦相似度而不是簡單的投影來測量概念的匹配程度，這樣可以消除不同方法之間由于數值范圍差異導致的偏差。他們還使用KL散度來精確控制操控實驗的強度，確保比較的公平性。

整個研究涉及了三個主要的AI模型：Llama 3.1-8B（80億參數）、Gemma-2-2B（20億參數）和GPT-2 Small（約1.24億參數）。在每個模型上，研究團隊都選擇了多個不同的層級進行分析，從而全面了解AI在不同處理階段的概念組織特征。

為了確保結果的可靠性，研究團隊還與現有的最佳方法進行了全面對比。他們不僅比較了公開可用的稀疏自編碼器，還專門訓練了新的自編碼器作為對照組，甚至還實現了一個強大的監督學習基準方法。這種全面的對比確保了他們的方法確實具有顯著的優勢。

所有的實驗代碼和數據都已經公開發布，任何感興趣的研究者都可以復現這些實驗結果。這種開放性不僅體現了科學研究的透明原則，也為后續研究提供了重要的基礎。

通過這種精心設計的"概念考古"過程，研究團隊成功地將AI復雜的內部結構分解成了可理解、可操控的組件，為理解AI的工作原理開辟了全新的道路。

七、實驗結果的深入分析

研究團隊的實驗涵蓋了三個不同規模和架構的AI模型，每個模型都展現出了獨特而一致的模式。這些發現就像在不同的古代遺址中發現了相似的文明痕跡，表明這些特征可能反映了AI學習和組織知識的普遍規律。

在概念檢測實驗中，最引人注目的發現是AI模型的不同層級展現出了截然不同的特征。在淺層（如第0層或第6層），AI主要處理相對簡單的語言模式和基礎概念。這些層級的知識組件往往具有更高的概念檢測分數，表明它們的概念邊界更加清晰。這就像觀察一幅正在創作中的畫作：在繪畫的初期階段，主要輪廓和基本色彩都很鮮明，容易識別。

隨著層級的加深，AI開始處理更加復雜和抽象的概念。在中間層級（如第12層或第18層），出現了諸如"實施或建立相關行動"這樣的復合概念，這些概念不再是簡單的詞匯匹配，而是需要理解動作的語義和上下文。而在深層（如第23層或第31層），AI處理的是像"歷史文獻"這樣的高度抽象概念，需要整合多個維度的信息才能形成。

特別有趣的是，研究團隊在Llama 3.1-8B和GPT-2模型的第一層都觀察到了相對較高的概念檢測分數。他們認為這種現象的原因是，在AI處理流程的早期階段，信息還沒有經過太多層級的注意力機制處理，因此概念之間的界限相對清晰，就像河流的源頭水質清澈，而經過長途跋涉后可能會變得混濁。

在與傳統方法的比較中，新方法展現出了明顯的優勢。與公開可用的稀疏自編碼器相比，新方法在大多數層級上都達到了相當甚至更好的概念檢測性能。更重要的是，與在相同數據集上訓練的稀疏自編碼器相比，新方法顯示出了更穩定和更可解釋的結果。

研究團隊誠實地指出了一些挑戰。在某些情況下，特別是在Gemma模型上，稀疏自編碼器的訓練變得不夠穩定，容易產生大量的"死亡特征"——即不再激活的組件。這種現象就像花園中一些植物因為缺乏適當的護理而枯萎一樣。研究團隊認為，通過更仔細的超參數調整和更大規模的訓練數據，這些問題是可以解決的。

在概念操控實驗中，結果更加令人振奮。新方法不僅在操控效果上超越了傳統的稀疏自編碼器，甚至在許多情況下匹敵或超過了強大的監督學習基準方法——差異均值方法。這一點特別重要，因為差異均值方法是專門為特定概念定制的，理論上應該具有更好的性能。

操控實驗的成功證明了一個重要觀點：AI確實是通過可解釋的神經元組合來進行信息處理的。每次AI生成文本時，它實際上是在將多個知識組件的貢獻進行"加法組合"，就像廚師將不同調料的味道進行混合一樣。這種加法性質意味著，通過調節特定的組件，我們確實可以預測和控制AI的行為。

研究團隊還觀察到了一個有趣的現象：在AI的不同層級進行操控會產生不同的效果。在較淺的層級進行操控時，雖然概念引導效果很強，但可能會對文本的整體流暢性產生較大影響。這是因為早期的干預會通過AI的處理流程傳播，影響后續的所有步驟。而在較深的層級進行操控時，可以在保持文本自然性的同時實現有效的概念引導。

在神經元協作分析中，研究團隊發現了AI內部知識組織的精妙結構。不同概念的知識組件之間存在著明確的"親緣關系"：語義上相關的概念（如不同的工作日）共享更多的神經元，而語義上無關的概念之間幾乎沒有神經元重疊。這種現象表明，AI在學習過程中自發地發展出了層次化的概念組織結構。

遞歸分解實驗揭示了概念合并的層次結構，這與稀疏自編碼器中觀察到的特征分裂現象形成了有趣的對比。在稀疏自編碼器中，當增加特征數量時，原本的特征會分裂成更細致的子特征；而在新方法中，當減少特征數量時，相關的概念會自然地合并成更抽象的上級概念。這種"自底向上"的概念組織方式更接近人類的認知過程。

研究團隊進行的因果干預實驗進一步驗證了這種協作模式的真實性。通過分別操控"核心神經元"和"專屬神經元"，他們發現AI確實使用了分層的概念編碼策略：公共特征由共享的神經元編碼，而獨特特征由專屬的神經元編碼。這種發現對理解AI的知識表示機制具有重要意義。

值得注意的是，所有這些發現都是在完全無監督的情況下獲得的。研究團隊沒有預先告訴AI什么是"工作日"或"周末"，AI自己發現了這些概念之間的關系。這表明，AI在學習過程中真的發展出了對概念結構的內在理解，而不僅僅是簡單的統計關聯。

這些實驗結果的一致性——跨越不同的模型、不同的層級、不同的概念領域——強烈表明，研究團隊發現的不是偶然現象，而是AI系統的基本工作原理。這為未來開發更透明、更可解釋的AI系統提供了重要的理論基礎和實踐指導。

說到底，這項研究最重要的貢獻不僅在于提供了一種新的分析工具，更在于揭示了AI內部知識組織的基本規律。這些發現幫助我們理解，AI不是一個不可解釋的"黑盒子"，而是一個具有清晰內在邏輯的復雜系統。通過合適的方法，我們確實可以"讀懂"AI的"思維"，并在一定程度上引導它的行為。這對于建立人類與AI之間的信任關系，開發更安全、更可控的AI應用具有深遠的意義。

歸根結底，這項研究向我們展示了一個令人興奮的可能性：隨著我們對AI內部機制理解的不斷深入，我們正在逐步獲得與這些強大系統進行更深層次對話的能力。就像學會了一門新語言一樣，我們開始能夠"聽懂"AI在"說"什么，也能夠更好地"告訴"它我們希望它做什么。這種理解不僅有助于提升AI系統的性能，更重要的是，它讓我們在面對越來越智能的AI時，能夠保持主動權和控制力。

對于普通人來說，這項研究的意義在于，它讓我們看到了AI技術發展的一個重要方向：不是讓AI變得更加神秘不可測，而是讓它變得更加透明可理解。在AI日益融入我們生活的今天，這種透明性和可解釋性將成為我們與AI和諧共處的重要基礎。如果你對這項研究的技術細節感興趣，可以通過arXiv:2506.10920v1這個編號找到完整的論文，深入了解這個令人著迷的AI"考古學"發現之旅。