Relating Hopfield Networks to Episodic Control

將 Hopfield 網(wǎng)絡(luò)與情景控制聯(lián)系起來(lái)

https://hal.science/hal-04850730v1/file/7638_Relating_Hopfield_Network.pdf

摘要

神經(jīng)情景控制（Neural Episodic Control）是一種強(qiáng)大的強(qiáng)化學(xué)習(xí)框架，它采用可微分字典來(lái)存儲(chǔ)非參數(shù)記憶。該框架在功能層面上受到情景記憶的啟發(fā)，但缺乏與通常用于實(shí)現(xiàn)此類記憶的聯(lián)想記憶模型之間的直接理論聯(lián)系。我們首先證明字典是最近提出的通用霍普菲爾德網(wǎng)絡(luò)（Universal Hopfield Network, UHN）框架的一個(gè)實(shí)例。接著，我們引入了字典讀取操作的連續(xù)近似，以推導(dǎo)出兩個(gè)能量函數(shù)，這些函數(shù)是動(dòng)態(tài)系統(tǒng)的李雅普諾夫函數(shù)。最后，我們通過實(shí)驗(yàn)證明，字典的表現(xiàn)優(yōu)于之前被認(rèn)為是最優(yōu)的“最大分離函數(shù)”（Max separation function），并且通過將歐幾里得距離核替換為曼哈頓距離核，性能可以進(jìn)一步提升。這些結(jié)果得益于字典的泛化能力，因此我們提出了一種新的標(biāo)準(zhǔn)，用于在評(píng)估聯(lián)想記憶模型時(shí)區(qū)分記憶與泛化能力。

1 引言

情景記憶是指記住特定情境相關(guān)信息的能力。一個(gè)有影響力的情景記憶模型是霍普菲爾德網(wǎng)絡(luò)（Hopfield Network），它是一種遞歸聯(lián)想記憶，能夠一次性學(xué)習(xí)一個(gè)模式，并在給定部分或噪聲提示的情況下回憶該模式。隨著可微分連續(xù)霍普菲爾德網(wǎng)絡(luò)的發(fā)展及其與深度學(xué)習(xí)的聯(lián)系，一些重要限制得到了解決，從而為聯(lián)想記憶領(lǐng)域帶來(lái)了新的研究興趣。情景記憶還被研究作為一種高效控制強(qiáng)化學(xué)習(xí)的方式，特別是在學(xué)習(xí)初期的所謂“情景控制”中。然而，霍普菲爾德網(wǎng)絡(luò)與控制算法之間尚未建立明確的聯(lián)系。這種聯(lián)系可能會(huì)促進(jìn)更高效的控制器和記憶模型的開發(fā)，同時(shí)也有助于揭示大腦中負(fù)責(zé)情景記憶的海馬體如何影響行為。

本文建立了聯(lián)想記憶與強(qiáng)化學(xué)習(xí)領(lǐng)域之間的一種新聯(lián)系。第2節(jié)表明，在情景控制背景下引入的可微分神經(jīng)字典（Differentiable Neural Dictionary, DND）作為一種快速存儲(chǔ)和檢索經(jīng)驗(yàn)的方法，在數(shù)學(xué)上與霍普菲爾德網(wǎng)絡(luò)非常接近。從DND中檢索的過程確實(shí)可以分解為相似性（similarity）、分離（separation）和投影（projection）操作，正如最近提出的通用霍普菲爾德網(wǎng)絡(luò)框架（UHN）所描述的那樣，該框架涵蓋了經(jīng)典和現(xiàn)代的聯(lián)想記憶模型。在DND中，相似性得分使用歐幾里得距離計(jì)算，并通過k近鄰算法進(jìn)行分離。DND的投影操作與所有現(xiàn)有的UHN實(shí)例（包括傳統(tǒng)的霍普菲爾德網(wǎng)絡(luò)）相同。因此，DND可以被視為一種單次聯(lián)想記憶模型，就像霍普菲爾德網(wǎng)絡(luò)及其現(xiàn)代連續(xù)變體一樣。這些模型通常可以通過一個(gè)能量函數(shù)定義，該函數(shù)在記憶檢索過程中逐漸減少。我們證明，DND的檢索操作也可以推導(dǎo)出能量函數(shù)。

在第3節(jié)中，我們進(jìn)行了實(shí)驗(yàn)，將DND與當(dāng)前最先進(jìn)的聯(lián)想記憶模型在記憶任務(wù)中進(jìn)行比較。結(jié)果表明，DND在泛化任務(wù)中優(yōu)于現(xiàn)有模型。通過將歐幾里得距離替換為曼哈頓距離，其性能進(jìn)一步提升，這與最初的UHN研究預(yù)測(cè)一致。我們引入了一種新標(biāo)準(zhǔn)來(lái)評(píng)估性能，發(fā)現(xiàn)DND的k近鄰分離相較于簡(jiǎn)單的最大分離函數(shù)更傾向于泛化而非記憶。

2 作為霍普菲爾德網(wǎng)絡(luò)的可微分神經(jīng)字典

UHN框架涵蓋了一系列聯(lián)想記憶模型，其中檢索過程通過以下步驟完成：計(jì)算查詢q與鍵K之間的相似性（sim函數(shù)），使用某種函數(shù)sep對(duì)相似性得分進(jìn)行分離，然后通過某個(gè)值矩陣V將結(jié)果投影到輸出空間：

在原始的二進(jìn)制霍普菲爾德網(wǎng)絡(luò)（1）中，相似性函數(shù)是點(diǎn)積，分離函數(shù)是恒等函數(shù)。現(xiàn)代的連續(xù)變體已經(jīng)被提出（8），通過使用更復(fù)雜的分離函數(shù)（例如 Softmax（4））來(lái)提高存儲(chǔ)容量，從而將記憶吸引子推開。另一方面，神經(jīng)情景控制是一種強(qiáng)化學(xué)習(xí)架構(gòu)，它引入了DND（可微分神經(jīng)字典）作為一種存儲(chǔ)感官觀察和Q值估計(jì)之間關(guān)聯(lián)的方法。DND的讀取操作為：

其中，w包含查詢與最近的 k 個(gè)觀測(cè)鍵之間的歸一化逆距離，而 ? 包含最近觀測(cè)值的內(nèi)容（即它們的 Q 值估計(jì)）。逆距離通過以下核函數(shù)計(jì)算：

總之，DND 的核函數(shù)充當(dāng)了一個(gè)相似性函數(shù)，它等價(jià)于 UHN（統(tǒng)一 Hopfield 網(wǎng)絡(luò)）中的歐幾里得相似性函數(shù)。此外，k 近鄰算法通過取消最遠(yuǎn)經(jīng)驗(yàn)的貢獻(xiàn)，稀疏化了相似性函數(shù)的結(jié)果。算法的輸出在投影到值空間之前會(huì)被歸一化。這構(gòu)成了 UHN 框架中的一種新穎的分離函數(shù)，我們稱之為 k-Max。值得注意的是，這種分離函數(shù)類似于對(duì)相似性函數(shù)施加一個(gè)閾值，就像在稀疏分布式記憶模型（9）中所做的那樣，該模型也被表述為一種 UHN（7）。唯一的區(qū)別在于，稀疏分布式記憶的閾值是固定的，而為了選擇固定數(shù)量 k 個(gè)鄰居，這里的閾值必須是動(dòng)態(tài)的。此外，當(dāng) k = 1 時(shí)，分離函數(shù)等價(jià)于 UHN 的 Max 分離函數(shù)。

DND 與其他 UHN 實(shí)例之間的剩余差異在于，DND 的輸出是一個(gè)標(biāo)量值，而 UHN 模型可以存儲(chǔ)向量值。在 DND 的一種改進(jìn)版本（10）中，多維值已經(jīng)被存儲(chǔ)。實(shí)際上，DND 可以簡(jiǎn)單地通過引入一個(gè)值向量矩陣 V 來(lái)擴(kuò)展。因此，公式 (6) 變?yōu)椋?/p>

3 可微分神經(jīng)字典（DND）的聯(lián)想記憶性能

在上一節(jié)中，神經(jīng)情景控制中的可微分神經(jīng)字典（DND）被證明是一種通用 Hopfield 網(wǎng)絡(luò)（UHN）。因此，原則上 DND 可以用作一種聯(lián)想記憶模型。在本節(jié)中，使用 MNIST、CIFAR10 和 Tiny ImageNet 數(shù)據(jù)集測(cè)試了 DND 作為聯(lián)想記憶模型的魯棒性和容量，實(shí)驗(yàn)方法與針對(duì)其他 UHN 實(shí)例的方法相同（7），除非另有說明。

DND 對(duì)圖像的重建示例如圖 2、圖 8 和圖 7 所示。通過僅保留 k 個(gè)最近鄰（即 k-Max 分離函數(shù)）來(lái)分離記憶。為了簡(jiǎn)化實(shí)驗(yàn)，未使用原始神經(jīng)情景控制實(shí)現(xiàn)中的 kd-tree，也未使用基于公式 (13) 的連續(xù) k-Max 版本。相反，所有相似性得分都被計(jì)算出來(lái)，未被選中的得分被置零（公式 (5)）。在圖 2 中，當(dāng)使用 k = 50（如同原始神經(jīng)情景控制論文 (6) 中的做法）時(shí)，輸出圖像可以被識(shí)別出原始圖像的內(nèi)容，但模型無(wú)法正確分離記憶，導(dǎo)致輸出模糊。而 Max 分離函數(shù)等價(jià)于選擇最近鄰（k = 1），并提供了更清晰的輸出。實(shí)際上，Max 是針對(duì) UHN 基準(zhǔn)測(cè)試中表現(xiàn)最佳的分離函數(shù)（7）。即使輸出模糊，k > 1 的模型似乎仍然能夠很好地捕捉數(shù)據(jù)集的統(tǒng)計(jì)特性，例如中心像素通常比邊緣像素更活躍的事實(shí)。回憶準(zhǔn)確性通常通過絕對(duì)標(biāo)準(zhǔn)評(píng)估，即檢查輸出與響應(yīng)之間的差異是否低于某個(gè)閾值（7）。值得探索的是，盡管 Max 函數(shù)在查詢維度方面具有理論上無(wú)界的容量（7），k > 1 的統(tǒng)計(jì)建模能力是否能夠在此標(biāo)準(zhǔn)下持續(xù)提升性能。另一方面，我們將引入一個(gè)新的標(biāo)準(zhǔn)，用于評(píng)估與其他存儲(chǔ)模式相關(guān)的回憶性能，因?yàn)榍榫坝洃浀闹饕δ苁侵亟ㄅc特定情境相關(guān)的信息（記憶），而不是泛化。

在本文中，我們根據(jù) (7) 中的術(shù)語(yǔ)區(qū)分了聯(lián)想記憶模型的兩個(gè)關(guān)鍵方面：容量和檢索。容量指在保持準(zhǔn)確回憶的前提下可以存儲(chǔ)的獨(dú)特圖像（或記憶）的數(shù)量。而檢索則關(guān)注模型在面對(duì)不完整或噪聲提示時(shí)召回這些存儲(chǔ)圖像的性能。它衡量了記憶召回在失真情況下的魯棒性。

3.1 不同函數(shù)下的容量

在 DND 中，記憶與查詢之間的相似性通過歐幾里得函數(shù)（公式 3）計(jì)算。盡管這種函數(shù)在聯(lián)想記憶模型中很少使用，但它被發(fā)現(xiàn)比更常見的點(diǎn)積表現(xiàn)更好（7）。此外，還有一個(gè)性能更優(yōu)的相似性函數(shù)，即曼哈頓距離的倒數(shù)

通過量化在存儲(chǔ)越來(lái)越多的 MNIST、CIFAR10 和 Tiny ImageNet 圖像時(shí)正確檢索的數(shù)據(jù)量，評(píng)估了模型在不同相似性函數(shù)（歐幾里得和曼哈頓）和分離函數(shù)下的容量（圖 3 和圖 9；表 1）。輸入為半遮掩圖像，如果輸出圖像與實(shí)際圖像之間的像素平方差之和小于閾值 50，則認(rèn)為該試驗(yàn)成功。曼哈頓相似性函數(shù)的表現(xiàn)優(yōu)于歐幾里得函數(shù)，尤其是在 k 值較低 的情況下。此外，最佳的 k 值 高度依賴于數(shù)據(jù)集。在 MNIST 數(shù)據(jù)集中，歐幾里得函數(shù)和曼哈頓函數(shù)的最佳 k 值均為 5。在 CIFAR10 數(shù)據(jù)集中，使用歐幾里得相似性時(shí)的最佳 k 值為 2，而使用曼哈頓函數(shù)時(shí)的最佳 k 值為 1。在 Tiny ImageNet 數(shù)據(jù)集中，Max 分離函（k = 1） 的表現(xiàn)優(yōu)于其他函數(shù)。

3.2 使用不同函數(shù)的檢索性能

為了測(cè)試記憶的魯棒性，分析了從含噪聲的提示中回憶記憶的能力。因此，獨(dú)立的零均值高斯噪聲（方差為 σ）被逐像素地添加到查詢圖像中。性能評(píng)估使用了 100 張圖像的集合。

與容量類似，檢索時(shí)的最佳 k 值也取決于數(shù)據(jù)集（圖 10，表 2）。同樣地，在 k 較低時(shí)，使用曼哈頓相似性函數(shù)的性能優(yōu)于歐幾里得相似性函數(shù)，而在 k 較高時(shí)則表現(xiàn)較差。在 MNIST 數(shù)據(jù)集中，使用歐幾里得和曼哈頓相似性函數(shù)時(shí)，最佳 k 值均為 50。在 CIFAR10 數(shù)據(jù)集中，最佳 k 值為 2。與容量測(cè)試結(jié)果一致，在 Tiny ImageNet 圖像中，Max 函數(shù)的表現(xiàn)優(yōu)于其他函數(shù)。

正如假設(shè)的那樣，Max 函數(shù)并不總是在絕對(duì)準(zhǔn)確性標(biāo)準(zhǔn)下表現(xiàn)最佳，無(wú)論是在容量任務(wù)還是檢索任務(wù)中。事實(shí)上，它確實(shí)可以被更高的 k 值超越，這意味著考慮比單一最相似記憶更多的記憶可以在絕對(duì)意義上（即通過閾值評(píng)估）實(shí)現(xiàn)更精確的回憶。在 MNIST 數(shù)據(jù)集中，恒等函數(shù)和 50-Max 函數(shù)的表現(xiàn)令人驚訝地好，即使在極高水平的噪聲下也是如此（圖 4a）。事實(shí)上，由于像素值被限制在 [0, 1] 的范圍內(nèi)，當(dāng) σ > 1 時(shí)，圖像中保留足夠信息以正確識(shí)別的可能性非常低。因此，一個(gè)合理的解釋是，高 k 值函數(shù)對(duì)數(shù)據(jù)集進(jìn)行了建模，使得它們輸出了許多圖像的混合結(jié)果，而這種混合有時(shí)被分類為正確的檢索，盡管它并不一定比數(shù)據(jù)集中的其他圖像更接近查詢圖像。這一點(diǎn)對(duì)于 MNIST 數(shù)據(jù)集尤其成立，因?yàn)?MNIST 包含的是較為簡(jiǎn)單的圖像，這些圖像彼此之間的相似性高于 CIFAR10 和 Tiny ImageNet。

3.3 基于記憶標(biāo)準(zhǔn)的性能

為了防止聯(lián)想記憶模型對(duì)數(shù)據(jù)集的統(tǒng)計(jì)特性進(jìn)行建模，而不是專注于查詢圖像以輸出實(shí)際記憶，引入了一種新的標(biāo)準(zhǔn)。與絕對(duì)閾值不同，檢索必須相對(duì)于其他圖像表現(xiàn)良好。更具體地說，新標(biāo)準(zhǔn)規(guī)定，當(dāng)且僅當(dāng)真實(shí)圖像與輸出之間的像素平方差之和小于或等于輸出與任何其他記憶之間的像素平方差之和時(shí)，試驗(yàn)才被認(rèn)為是正確的，即：

現(xiàn)在使用這一新標(biāo)準(zhǔn)來(lái)評(píng)估容量（圖 5 和圖 11；表 3）。曼哈頓函數(shù)的表現(xiàn)仍然優(yōu)于歐幾里得相似性函數(shù)。最重要的是，最佳性能始終是通過 Max 函數(shù)獲得的。

隨后使用新標(biāo)準(zhǔn)測(cè)試檢索性能（圖 4b 和圖 12；表 4）。再次表明，曼哈頓相似性函數(shù)的表現(xiàn)最佳。此外，k = 1 幾乎總是優(yōu)于其他值。需要注意的是，k = 2 的性能也非常接近。

3.4 k-Max 與 Softmax 的關(guān)系

與 k-Max 類似，Softmax 函數(shù)實(shí)際上也幾乎消除了遙遠(yuǎn)記憶的貢獻(xiàn)，尤其是當(dāng)其輸入的縮放參數(shù) β 較高時(shí)。它通過歸一化指數(shù)化的相似性得分來(lái)實(shí)現(xiàn)這一點(diǎn)：

雖然 k 是一個(gè)離散參數(shù)，但 β 是連續(xù)的，這使得 Softmax 函數(shù)更難優(yōu)化，但可能也更靈活。在此，對(duì)這兩種分離函數(shù)進(jìn)行了比較。對(duì)于每個(gè)數(shù)據(jù)集，編碼了 100 張圖像。對(duì)于 MNIST 數(shù)據(jù)集，噪聲設(shè)置為 1；對(duì)于 CIFAR10 數(shù)據(jù)集和 Tiny ImageNet，噪聲設(shè)置為 0.75。結(jié)果如圖 6a 和圖 13 所示（使用絕對(duì)標(biāo)準(zhǔn)），以及圖 6b 和圖 14 所示（使用記憶標(biāo)準(zhǔn)）。除了在 CIFAR10、歐幾里得相似性和絕對(duì)標(biāo)準(zhǔn)的條件下（圖 13b），Softmax 函數(shù)在所有情況下均優(yōu)于 k-Max。

4 討論

在本文中，最初在強(qiáng)化學(xué)習(xí)背景下引入的 DND（6）被證明與 Hopfield 網(wǎng)絡(luò)（1）具有數(shù)學(xué)上的關(guān)聯(lián)。最近提出的通用 Hopfield 網(wǎng)絡(luò)（UHN）框架涵蓋了傳統(tǒng)的 Hopfield 網(wǎng)絡(luò)、現(xiàn)代變體以及相關(guān)模型（7）。這些模型通過一系列共同的操作來(lái)回憶記憶：相似性計(jì)算、分離和投影。已經(jīng)證明，從 DND 中檢索記憶也是通過這些操作完成的。因此，DND 是通用 Hopfield 網(wǎng)絡(luò)框架的一個(gè)實(shí)例。為了便于數(shù)學(xué)分析，提出了 DND 檢索的連續(xù)近似方法，以滿足 UHN 能量函數(shù)的要求，并推導(dǎo)出動(dòng)力學(xué)的第二個(gè) Lyapunov 函數(shù)。

這一新穎的聯(lián)系將聯(lián)想記憶領(lǐng)域與強(qiáng)化學(xué)習(xí)領(lǐng)域聯(lián)系起來(lái)。DND 的相似性函數(shù)是歐幾里得距離，已被證明能夠?qū)崿F(xiàn)高容量（7）。另一方面，k 近鄰算法并不常被用作聯(lián)想記憶的分離函數(shù)。需要注意的是，當(dāng)使用 k-d 樹實(shí)現(xiàn)時(shí)，k 近鄰搜索的時(shí)間復(fù)雜度為 O(log n)（11）。相比之下，Softmax 函數(shù)的時(shí)間復(fù)雜度為 O(n)。因此，當(dāng)前的一個(gè)目標(biāo)是評(píng)估更高效的 k-Max 分離函數(shù)的性能。

有趣的是，k 控制了分離的程度，當(dāng) k = 1 時(shí)等價(jià)于 (7) 中研究的 Max 函數(shù)。盡管 Max 函數(shù)理論上具有無(wú)界容量，但當(dāng)查詢中加入不斷增加的噪聲時(shí)，它可能會(huì)從一個(gè)記憶吸引子急劇過渡到另一個(gè)。通過圖 2 可以推測(cè)，更高的 k 值可能更適合建模數(shù)據(jù)集，并提高以絕對(duì)標(biāo)準(zhǔn)評(píng)估的性能。模擬結(jié)果確實(shí)表明，在噪聲查詢下，k > 1 時(shí)的容量更高且檢索性能更好，尤其是在像 MNIST 這樣簡(jiǎn)單的數(shù)據(jù)集中。然而，這些結(jié)果取決于性能評(píng)估的方式。傳統(tǒng)上，檢索的評(píng)估基于記憶輸出與實(shí)際圖像之間的某種距離度量，該距離必須不超過實(shí)驗(yàn)者設(shè)定的某個(gè)閾值。這是評(píng)估聯(lián)想記憶模型的一種廣泛使用的方法，但必須明智地選擇閾值，因?yàn)樵O(shè)置過高可能導(dǎo)致假陽(yáng)性，模型會(huì)粗略地再現(xiàn)數(shù)據(jù)集的統(tǒng)計(jì)特性（即泛化）。例如，在使用 MNIST 數(shù)據(jù)集評(píng)估檢索時(shí)似乎就是這種情況。即使在非常強(qiáng)的噪聲下，50-Max（甚至恒等函數(shù)）的性能仍然很高。因此，引入了另一種評(píng)估檢索的方法，該方法不以絕對(duì)標(biāo)準(zhǔn)考慮輸出，而是將其與整個(gè)記憶集進(jìn)行比較。只有當(dāng)輸出比任何其他存儲(chǔ)的記憶更接近實(shí)際圖像時(shí)，才認(rèn)為檢索正確。這樣，記憶模型無(wú)法從建模數(shù)據(jù)集的統(tǒng)計(jì)特性中獲益，而必須專注于回憶查詢的獨(dú)特特征（即記憶）。使用這種方法，Max 函數(shù)的表現(xiàn)優(yōu)于其他函數(shù)。理想情況下，應(yīng)同時(shí)以絕對(duì)和相對(duì)標(biāo)準(zhǔn)評(píng)估性能，以確保召回既準(zhǔn)確又能在其他記憶中脫穎而出。

這引出了一個(gè)問題：聯(lián)想記憶的功能是什么？對(duì)數(shù)據(jù)集的統(tǒng)計(jì)特性建模與泛化有關(guān)，而這通常是機(jī)器學(xué)習(xí)的主要目標(biāo)。而聯(lián)想記憶的目標(biāo)則有所不同。聯(lián)想記憶不是泛化，而是旨在回憶與單個(gè)記憶對(duì)應(yīng)的精確信息。這讓人聯(lián)想到情景記憶與語(yǔ)義記憶之間的分工（12）。然而，當(dāng)涉及情景控制（即將情景記憶用于動(dòng)作控制）時(shí)，某種程度的泛化是可取的。這在神經(jīng)情景控制中尤其如此，其中動(dòng)作選擇完全依賴于情節(jié)，因此 DND 構(gòu)成了一個(gè)瓶頸。最初，情景控制（不要與神經(jīng)情景控制中的實(shí)現(xiàn)混淆）被引入是為了加速?gòu)?qiáng)化學(xué)習(xí)代理的學(xué)習(xí)速度，而在初始的情景控制階段之后，期望更穩(wěn)健的控制器能夠接管（5）。一種受生物啟發(fā)的替代方案是，將情景記憶與其他控制器結(jié)合，后者的功能是泛化。這樣，情景記憶將不再是瓶頸，而是可以專注于記憶特定情境的細(xì)節(jié)。話雖如此，關(guān)于情景記憶是否也能整合部分泛化能力而不只是存儲(chǔ)特定情節(jié)的細(xì)節(jié)，目前仍存在爭(zhēng)論（13；14；15）。

5 局限性與未來(lái)工作

在本文中，我們主要集中于評(píng)估聯(lián)想記憶模型的容量和檢索性能。與將 DND 應(yīng)用于聯(lián)想記憶相反，這一新穎的理論聯(lián)系也意味著任何 UHN 的實(shí)例都可以用于情景控制。曼哈頓函數(shù)可能會(huì)持續(xù)提高樣本效率，超越 DND 的歐幾里得核函數(shù)，就像它在聯(lián)想記憶任務(wù)中的表現(xiàn)一樣。Softmax 函數(shù)已被證明在 Transformer 中非常強(qiáng)大（16），并且在本研究中表現(xiàn)優(yōu)于 k-Max，因此也可能提升情景控制代理的性能。目前正在進(jìn)行相關(guān)的強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)。

最后，DND 在理論上與 Hopfield 網(wǎng)絡(luò)相關(guān)聯(lián)的事實(shí)為神經(jīng)情景控制提供了生物學(xué)基礎(chǔ)，因?yàn)楹ｑR體最具影響力的模型高度依賴于類似的聯(lián)想記憶機(jī)制（17）。因此，這項(xiàng)研究為聯(lián)想記憶、強(qiáng)化學(xué)習(xí)和神經(jīng)科學(xué)領(lǐng)域的交叉研究開辟了新的方向。

原文鏈接： https://hal.science/hal-04850730v1/file/7638_Relating_Hopfield_Network.pdf