5.16

知識分子

The Intellectual

圖源：Pixabay

撰文 |張?zhí)烊?/strong>

最近，人們對AI談得最多的是deepseek（簡稱DS）。這匹來自中國本土的黑馬，闖入全球視野，一度擾亂美國股市，在AI領(lǐng)域掀起了一場軒然大波。

不過，正如DS創(chuàng)始人梁文鋒所言，DS的成功是因為站在了巨人的肩上，這個巨人，可以有不同的理解，最靠近的當(dāng)然是Meta的開源代碼（例如PyTorch和LLaMA）。說遠(yuǎn)一些，這個巨人是多年來科學(xué)家們推動發(fā)展的各種AI技術(shù)。然而最準(zhǔn)確的說法，應(yīng)該是兩年之前OpenAI發(fā)布的聊天機(jī)器人ChatGPT，它是DS框架的技術(shù)基礎(chǔ)。

ChatGPT的名字中，Chat的意思就是對話，這個詞在AI中涉及的領(lǐng)域是NLP（自然語言處理）；后面三個字母的意思：G生成型（generative）、P預(yù)訓(xùn)練（pre-training）、T變形金剛（Transformer）。其中最重要的是“變形金剛”，而變形金剛的關(guān)鍵是“注意力機(jī)制”（Attention）。下面簡單介紹一下幾個名詞。

01

變形金剛

英語單詞Transformer，可以指變壓器或變換器。另外也可以翻譯成變形金剛，那是一種孩子們喜歡的玩具，可以變換成各種角色，包括人類和機(jī)械。而這兒的transformer是谷歌大腦2017年推出的語言模型。如今，無論是自然語言的理解，還是視覺處理，都用變形金剛統(tǒng)一起來，用到哪兒都靈光，名副其實的變形金剛！所以，我們就用這個名字。

變形金剛最早是為了NLP[1]的機(jī)器翻譯而開發(fā)的，NLP一般有兩種目的：生成某種語言（比如按題作文），或者語言間的轉(zhuǎn)換（比如翻譯）。這兩種情況，輸入輸出都是一串序列，此種神經(jīng)網(wǎng)絡(luò)模型稱為“序列建模”。變形金剛的目的就是序列建模，它的結(jié)構(gòu)可以分為“編碼器”和“解碼器”兩大部分（圖1）。序列建模是AI研究中的一項關(guān)鍵技術(shù)，它能夠?qū)π蛄袛?shù)據(jù)中的每個元素進(jìn)行建模和預(yù)測，在NLP中發(fā)揮著重要作用。

圖1：Transformer模型及其中的注意力機(jī)制

圖1右圖顯示了“編碼器”和“解碼器”的內(nèi)部結(jié)構(gòu)框圖。它們都包含了多頭注意力層（Multi-Head Attention）、前向傳播層（Feed Foward）和殘差歸一化層（Add&Norm）。

神經(jīng)網(wǎng)絡(luò)模型的發(fā)展，從1958年早期感知機(jī)的“機(jī)器”模型，到后來的算法模型，經(jīng)歷了漫長的過程。變形金剛的序列建模能力，超越了之前的循壞神經(jīng)網(wǎng)絡(luò)RNN，和卷積神經(jīng)網(wǎng)絡(luò)CNN，近幾年，成為了新的序列建模大殺器，廣泛應(yīng)用于機(jī)器翻譯、閱讀理解和實體識別等任務(wù)中。

與變形金剛（Transformer）相關(guān)的論文，是Google機(jī)器翻譯團(tuán)隊，在行業(yè)頂級會議NIPS上發(fā)表的。論文的題目是《Attention is all you need（你所需要的，就是注意力）》[2]，一語道明了變形金剛的重點是“注意力”。圖1右的Transformer模型中，紅色曲線指出的，是3個主要的注意力機(jī)制框圖。

因此，ChatGPT大獲成功，憑借的是強(qiáng)調(diào)“注意力機(jī)制”的變形金剛；介紹注意力機(jī)制之前，首先簡要介紹NLP的幾個基本概念。例如，什么是“詞向量”，什么是詞崁入？有那些語言模型？

02

自然語言處理

實現(xiàn)人工智能有兩個主要的方面，一是圖像識別，二是理解人類的語言和文字，后者被稱為自然語言處理，縮寫成NLP（Natural Language Processing）。

2.1

什么是NLP？

自然語言處理，就是利用計算機(jī)為工具對人類自然語言的信息進(jìn)行各種類型處理和加工的技術(shù)。NLP以文字為處理對象。

最早的計算機(jī)被發(fā)明出來，是作為理科生進(jìn)行復(fù)雜計算的工具。而語言和文字是文科生玩的東西，如何將這兩者聯(lián)系起來呢？為了要讓機(jī)器處理語言，首先需要建立語言的數(shù)學(xué)模型。稱之為語言模型。ChatGPT就是一個語言模型。

語言模型最直接的任務(wù)就是處理一段輸入的文字，不同的目的應(yīng)該有不同的模型，才能得到不同的輸出。例如，假設(shè)輸入一段中文：“彼得想了解機(jī)器學(xué)習(xí)”，模型可能有不同的輸出：

1，如果是中文到英文的機(jī)器翻譯模型，輸出可能是：“Peter wants to learn about machine learning”；

2，如果是聊天機(jī)器人，輸出可能是：“他需要幫助嗎？“；

3，如果是書店的推薦模型，輸出可能是一系列書名：“《機(jī)器學(xué)習(xí)簡介》、《機(jī)器學(xué)習(xí)入門》“；

4，如果是情感分析，輸出可能是：“好“……

語言模型都有兩大部分：編碼器和解碼器，分別處理輸入和輸出。

此外，對語言模型比較重要的一點是：它的輸出不見得是固定的、一一對應(yīng)的，這從我們平時人類的語言習(xí)慣很容易理解。對同樣的輸入，不同的人有不同的回答，在不同環(huán)境下的同一個人，也會有不同的回答。也就是說，語言模型是一個概率模型。

2001年，本吉奧等人將概率統(tǒng)計方法引入神經(jīng)網(wǎng)絡(luò)，并使用前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行語言建模，提出了第一個神經(jīng)網(wǎng)絡(luò)的語言概率模型，可以預(yù)測下一個單詞可能的概率分布，為神經(jīng)網(wǎng)絡(luò)在NLP領(lǐng)域的應(yīng)用奠定了基礎(chǔ)。

2.2

詞向量（Word Vectors）

語言模型中的編碼器，首先就需要給語言中的單詞編碼。世界上的語言各種各樣，它們也有其共性，都是由一個一個小部分（基本單元）組成的，有的基本單元是“詞“，有的是”字“，有的可能是詞的一部分，例如詞根。我們給基本單元取個名字，叫”token“。例如，以后在解釋語言處理過程時，我們就將中文中的“字”作為一個”token“，而將英文中的一個“word”，算一個”token“。

計算機(jī)只認(rèn)數(shù)字，不識”token“。所以首先得將”token“用某種數(shù)學(xué)對象表示，學(xué)者們選中了“矢量”

最早期對詞向量的設(shè)想，自然地聯(lián)想到了“字典”。所以，最早給詞匯編碼采用的方法叫做Onehotencoding（獨熱編碼），若有個字典或字庫里有N個單字，則每個單字可以被一個N維的獨熱向量代表。下面用具體例子說明這種方法。

例如，假設(shè)常用的英文單詞大約1000個（實際上，英語有約1300萬個單詞），按照首個字母順序排列起來，詞典成為一個1000個詞的長串序列。每個常用詞在這個序列中都有一個位置。例如，假設(shè)“Apple”是第1個，“are” 是第2個，“bear” 是第3個，“cat” 第4個，“delicious” 第5個……等等。那么，這5個words，就分別可以被編碼成5個1000維的獨熱矢量，每一個獨熱矢量對應(yīng)于1000維空間的1個點：

“apple“： （10 0 0 0…………………..0）

“are” ： （01 0 0 0…………………..0）

“bear” ： （00 1 0 0 0…………..…..0）

“cat” ： （00 0 1 0 0 0……………..0）

“delicious” ： （00 0 0 1 0 0 0…………..0）

獨熱編碼概念簡單，不過，你很快就能發(fā)現(xiàn)這不是一個好的編碼方法。它至少有如下幾個缺點。

一是每個詞向量都是獨立的，互相無關(guān)，詞和詞之間沒有關(guān)聯(lián)，沒有相似度。實際上，詞和詞之間關(guān)聯(lián)程度不一樣。既然我們將單詞表示成矢量，而空間中的矢量互相是有關(guān)聯(lián)的。有的靠的近，有的離得遠(yuǎn)。這種“遠(yuǎn)近”距離也許可以用來描述它們之間的相似度。比如說，bear和cat都是動物，相互比較靠近，而apple是植物，離他們更遠(yuǎn)一點。

二是這種編碼法中，每個詞向量只有一個分量是1，其它全是0，這種表示方法太不經(jīng)濟(jì)，浪費很多空間。在1000維空間中，非常稀疏地散發(fā)著1000個點。這也使得空間維度太大，不利計算。

圖2：詞向量

目前NLP中使用比較多的是約書亞·本吉奧等人2000年在一系列論文中提出的技術(shù)，后來經(jīng)過多次改進(jìn)，如今被統(tǒng)稱為“詞嵌入”（Word embedding）。它是指把一個維數(shù)為所有詞的數(shù)量的高維空間嵌入到一個維數(shù)低得多的連續(xù)向量空間中，每個單詞或詞組被映射為實數(shù)域上的向量。例如，圖2左圖中的1000維詞向量，被嵌入到一個2維空間（圖2右圖）中之后，將同類的詞匯分類放到靠近的2維點，例如右上方靠近的3個點分別代表3個哺乳動物。

詞嵌入中這個“維數(shù)低得多的向量空間”，到底是多少維呢？應(yīng)該是取決于應(yīng)用。直觀來說，每一個維度可以編碼一些意思，例如語義空間可以編碼時態(tài)、單復(fù)數(shù)和性別等等。那么，我們利用“詞嵌入”的目的是：希望找到一個N維的空間，足夠而有效地編碼我們所有的單詞。

當(dāng)然，詞嵌入的具體實現(xiàn)方法很復(fù)雜，維數(shù)可以比1000小，但比2大多了，在此不表。

2.3

NLP和神經(jīng)網(wǎng)絡(luò)

在變形金剛之前的NLP，是用循環(huán)神經(jīng)網(wǎng)絡(luò)RNN、遞歸神經(jīng)網(wǎng)絡(luò)、雙向和深度RNN、或基于RNN改進(jìn)的LSTM等實現(xiàn)的。可以使用上述的同一種網(wǎng)絡(luò)結(jié)構(gòu)，復(fù)制并連接的鏈?zhǔn)浇Y(jié)構(gòu)來進(jìn)行自然語言處理，每一個網(wǎng)絡(luò)結(jié)構(gòu)將自身提取的信息傳遞給下一個繼承者。見圖3。

圖3：RNN鏈接受上下文單詞，預(yù)測目標(biāo)單詞

語言模型的目的就是通過句子中每個單詞的概率，給這個句子一個概率值P。即通過計算機(jī)系統(tǒng)對人輸入問題的理解，利用自動推理等手段，自動求解答案并做出相應(yīng)的回答。

循環(huán)神經(jīng)網(wǎng)絡(luò)RNN是在時間維度展開，處理序列結(jié)構(gòu)信息。遞歸神經(jīng)網(wǎng)絡(luò)在空間維度展開，處理樹結(jié)構(gòu)、圖結(jié)構(gòu)等復(fù)雜結(jié)構(gòu)信息。

LSTM等模型和transformer的最大區(qū)別是：LSTM等的訓(xùn)練是迭代的，是一個一個字的來，當(dāng)前這個字過完LSTM單元，才可以進(jìn)行下一個字的輸入。但transformer使用了注意力機(jī)制，可以并行計算，所有字同時訓(xùn)練，大大提高了效率。并行計算中，使用了位置嵌入（positional encoding）來標(biāo)識這些字的先后順序。那么，什么是“注意力機(jī)制”？

03

“注意力機(jī)制”

3.1

什么是注意力機(jī)制？

神經(jīng)網(wǎng)絡(luò)的思想最早是來源于生物學(xué)的神經(jīng)網(wǎng)絡(luò)，但是，現(xiàn)代的深度學(xué)習(xí)卻早已脫離了對大腦的模仿。不過，人們在AI研究中碰到困難時，總免不了要去對比一下生物大腦的運行機(jī)制。這也是“注意力機(jī)制”這個概念的來源。

注意力機(jī)制是人類大腦的一種天生的能力。我們?類在處理信息時，顯然會過濾掉不太關(guān)注的信息，著重于感興趣的信息，于是，認(rèn)知專家們將這種處理信息的機(jī)制稱為注意?機(jī)制。

例如，我們在看親友的照片時，先是快速掃過，然后通常更注意去識別其中的人臉，將更多的注意力放在照片呈現(xiàn)的人物、時間、和地點上。當(dāng)我們閱讀一篇新的文章時，注意力首先放在標(biāo)題上，然后是開頭的一段話，還有小標(biāo)題等等。

人類的大腦經(jīng)過長期的進(jìn)化，類似于機(jī)器學(xué)習(xí)中應(yīng)用了最優(yōu)化的學(xué)習(xí)方法，形成了效率頗高的結(jié)構(gòu)。試想，如果人腦對每個局部信息都不放過，那么必然耗費很多精力，把人累死。同樣地，在人工智能的深度學(xué)習(xí)網(wǎng)絡(luò)中，引進(jìn)注意?機(jī)制，才能簡化網(wǎng)絡(luò)模型，以使用最少的計算量，有效地達(dá)到目的。大腦回路的結(jié)構(gòu)方式，肯定影響著大腦的計算能力。但是，到目前為止，除了在一些非常簡單的生物體中，我們?nèi)匀粵]有看到任何大腦的具體結(jié)構(gòu)。不過，研究AI的專家們，有自己的辦法來實現(xiàn)他們的目標(biāo)，例如循環(huán)神經(jīng)網(wǎng)絡(luò)，長短期記憶，都解決了部分問題。

當(dāng)科學(xué)家們利用循環(huán)神經(jīng)網(wǎng)絡(luò)，處理NLP任務(wù)時，長距離“記憶”能力一直是個瓶頸，而現(xiàn)在引入的“注意力機(jī)制”，有效地緩解了這一難題。此外，從節(jié)約算力的角度考慮，也有必要用“注意力機(jī)制”，從大量信息中，篩選出少量重要信息，并聚焦到這些重要信息上，忽略大多不重要的信息。

3.2

注意力機(jī)制的種類

注意力機(jī)制可以按照不同的需要來分類，這兒我們只解釋與Transformer相關(guān)的幾種結(jié)構(gòu)。

1，硬注意力機(jī)制：選擇輸入序列某一個位置上的信息，直接舍棄掉不相關(guān)項。換言之，決定哪些區(qū)域被關(guān)注，哪些區(qū)域不被關(guān)注，是一個“是”或“不是”的問題，某信息或“刪”，或“留”，取其一。例如，將圖像裁剪，文章一段全部刪去，屬于此類。

2，軟注意力機(jī)制，即通常所說的“注意力機(jī)制”：選擇輸入序列中的所有信息，但用0到1之間的概率值，來表示關(guān)注程度的高低。也就是說，不丟棄任何信息，只是給他們賦予不同的權(quán)重，表達(dá)不同的影響力。

3，“軟”vs“硬”：硬注意力機(jī)制，只考慮是和不是，就像2進(jìn)制的離散變量；優(yōu)勢在于會節(jié)省一定的時間和計算成本，但是有可能會丟失重要信息。離散變量不可微分，很難通過反向傳播的方法參與訓(xùn)練。而軟注意力機(jī)制，因為對每部分信息都考慮，所以計算量比較大。但概率是連續(xù)變量，因此軟注意力是一個可微過程，可以通過前向和后向反饋學(xué)習(xí)的訓(xùn)練過程得到。變形金剛中使用的是“軟注意力機(jī)制”，見圖4a。圖中輸入是Q、K、V，分別代表Query（查詢）、Key（關(guān)鍵）、Value（數(shù)值）。

4，自注意力機(jī)制：如果圖4a中的Q、K、V都從一個輸入X產(chǎn)生出來，便是“自注意力機(jī)制”（圖4b）。它的意思是：對每個輸入賦予的權(quán)重取決于輸入數(shù)據(jù)之間的關(guān)系，即通過輸入項內(nèi)部之間的相互博弈決定每個輸入項的權(quán)重。因為考慮的是輸入數(shù)據(jù)中每個輸入項互相之間的關(guān)聯(lián)，因此，對輸入數(shù)據(jù)而言，即考慮“自己”與“自己”的關(guān)聯(lián)，故稱“自”注意力機(jī)制。自注意力機(jī)制在計算時，具有并行計算的優(yōu)勢。使輸入序列中的每個元素能夠關(guān)注并加權(quán)整個序列中的其他元素，生成新的輸出表示，不依賴外部信息或歷史狀態(tài)。自注意力通過計算每個元素對其他所有元素的注意力權(quán)值，然后應(yīng)用這些權(quán)值于對應(yīng)元素本身，得到一個加權(quán)平均的輸出表示。

圖4：各種注意力機(jī)制

5，注意力機(jī)制與自注意力機(jī)制的區(qū)別：注意力機(jī)制的權(quán)重參數(shù)是一個全局可學(xué)習(xí)參數(shù)，對于模型來說是固定的；而自注意力機(jī)制的權(quán)重參數(shù)是由輸入決定的，即使是同一個模型，對于不同的輸入也會有不同的權(quán)重參數(shù)。注意力機(jī)制的輸出與輸入的序列長度可以不同；而自注意力機(jī)制的的輸出輸入序列長度是相同的。注意力機(jī)制在一個模型中通常只使用一次，作為編碼器和解碼器之間的連接部分；而自注意力機(jī)制在同一個模型中可以使用很多次，作為網(wǎng)絡(luò)結(jié)構(gòu)的一部分。注意力機(jī)制將一個序列映射為另一個序列；而自注意力機(jī)制捕捉單個序列內(nèi)部的關(guān)系。

6，交叉注意力機(jī)制：考慮兩個輸入序列（X1、X2）內(nèi)部變量之間的關(guān)聯(lián)，見圖4c。

7，遮罩（Masked）注意力機(jī)制：在計算通道中，加入一個遮罩，遮擋住當(dāng)前元素看不見（關(guān)聯(lián)不到）的部分，見圖4d。

8，多頭自注意力機(jī)制：由多個平行的自注意力機(jī)制層組成。每個“頭”都獨立地學(xué)習(xí)不同的注意力權(quán)重，最后綜合合并這些“頭”的輸出結(jié)果，產(chǎn)生最終的輸出表示。多頭機(jī)制能夠同時捕捉輸入序列在不同子空間中的信息，從而增強(qiáng)模型的表達(dá)能力，見圖4e。

3.3

注意力機(jī)制如何工作？

最基本的注意力機(jī)制如圖5a所示，它的輸入是Q、K、V，分別代表Query（查詢）、Key（關(guān)鍵）、Value（數(shù)值）。具體而言，Q、K、V都可以用矩陣表示。計算的步驟如下：算出Q和K的點積，得到他們的相似度，經(jīng)過softmax函數(shù)作用歸一化之后，得到相互影響的概率A，然后，將A作用到V上，最后得到的V‘即為注意力。

圖5：注意力機(jī)制的計算

乍一看上面的敘述有點莫名其妙，這幾個Q、K、V是何方神圣？從哪里鉆出來的？

首先，我們舉一個自注意力機(jī)制的例子，用一個通俗的比喻解釋一下。自注意力機(jī)制中的Q、K、V，都是由輸入的詞向量產(chǎn)生出來的。比如，老師去圖書館想給班上學(xué)生找“貓、狗、兔子”等的書，老師可能會與管理員交談，說：“請幫忙找關(guān)于養(yǎng)貓狗兔的書”。那么，老師的查詢之一可能是，Query：養(yǎng)貓書、管理員給老師幾個書名Key：《貓》、《如何養(yǎng)貓》……，還從圖書館的計算機(jī)資料庫中得到相關(guān)信息Value：這幾本書的作者、出版社、分類編號等等。

上面例子中，輸入的序列詞向量是老師說的那句話的編碼矩陣，即圖4b中的輸入X。然后，從如下計算得到矩陣Q、K、V：

Q=X Wq，

K=X Wk，

V=X Wv。

這兒的Wq、Wk、Wv是將在訓(xùn)練中確定的網(wǎng)絡(luò)參數(shù)。

圖5是注意力機(jī)制計算過程的示意圖。右下角的方框里，是注意力機(jī)制的計算公式。公式中有一個乘積項：QKT，意思是Q和K的內(nèi)積。兩個向量的內(nèi)積，等于它們的模相乘，再乘以它們之間夾角的cosine函數(shù)，因此可以描述兩個向量接近的程度。內(nèi)積越大，表示越接近。計算公式括號內(nèi)的分母：Dk開方，代表注意力機(jī)制框圖中的“Scale”（進(jìn)行縮放）部分。這兒Dk是KT的維數(shù)，除上維數(shù)開方的目的是穩(wěn)定學(xué)習(xí)過程，防止維度太大時“梯度消失”的問題。然后，點積加縮放后的結(jié)果，經(jīng)softmax歸一化后得到相互影響概率A。最后，再將結(jié)果A乘以V，得到輸出V'，這個輸出矢量描述了輸入矢量X中各個token之間的自注意力。

綜上所述，從自注意力機(jī)制，可以得到輸入詞序列中詞與詞之間的關(guān)聯(lián)概率。比如說，假設(shè)輸入的文字是：“他是學(xué)校足球隊的主力所以沒有去上英語課”，訓(xùn)練后可以得到每個字之間相關(guān)情況的一種概率分布。但是，字之間的相關(guān)情況是很復(fù)雜的，有可能這次訓(xùn)練得到一種概率分布（“他”和“球”有最大概率），下次得到另外一種完全不同的概率分布（“他”和“課”有最大概率）。為了解決這種問題，就采取多算幾次的辦法，被稱為“多頭注意力機(jī)制”。就是將輸入矢量分成了幾個子空間的矢量，一個子空間叫一個“頭”。

也可以使用上面所舉老師去圖書館找書的例子，除了“貓“和”書“關(guān)聯(lián)之外，狗、兔子……等都可能和”書“關(guān)聯(lián)起來，也可以使用“多頭注意力機(jī)制”來探索。

參考資料：

[1]NLPhttps://en.wikipedia.org/wiki/Natural_language_processing

[2]Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia. Attention Is All You Need. 2017-12-05. arXiv:1706.03762