2024年的諾貝爾物理學獎授予了John J. Hopfield和Geoffrey E. Hinton。早在20世紀，Hinton就提出了玻爾茲曼機和受限玻爾茲曼機(RBM)，掀起了人工智能研究的熱潮。然而，使用傳統CMOS電路實現RBM資源消耗大且效率較低，自旋電子學器件的應用有望改善這一現狀。近日，華中科技大學游龍課題組在《科學通報》發表了題為“基于自旋軌道力矩隨機二值神經元的推薦系統構建”的研究論文。他們設計了一種基于自旋軌道力矩磁性隧道結器件的隨機二值神經元器件(SOT-BSN)，并進一步構建了基于RBM的推薦系統，揭示了SOT-BSN在未來人工智能和機器學習領域的應用潛力。

PART.01

研究背景

隨著人工智能和機器學習的迅速發展，各種隨機生成式神經網絡模型層出不窮，其中受限玻爾茲曼機(RBM)是實現生成式神經網絡的經典算法之一，能夠通過學習給定數據集的分布特征產生與之高度相似的新數據，展現出強大的無監督學習和數據生成能力。然而，使用傳統CMOS電路實現RBM網絡中不可或缺的概率采樣過程（吉布斯采樣）需要耗費大量的運算資源且效率低下，這是由于概率采樣過程需要sigmoid函數運算和隨機采樣等操作。相比之下，基于自旋軌道力矩的隨機二值神經元（SOT-BSN）具備可調控的激活概率、真隨機性和非易失性，可直接作為RBM網絡的節點，實現概率采樣操作。

PART.02

文章概述

為驗證利用SOT-BSN構建RBM神經網絡的可行性，文章首先使用自旋軌道力矩磁性隧道結Verilog-A模型結合65nm CMOS晶體管建立了SOT-BSN的SPICE模型，實現了根據輸入脈沖電壓連續調整激活概率的功能。其激活概率的特性曲線與RBM吉布斯采樣過程中所需的sigmoid函數高度吻合。仿真結果表明，SOT-BSN執行一次吉布斯采樣操作僅消耗17.7 fJ能量，耗時10 ns，與CMOS數字電路相比，顯著降低了能耗等方面的實現代價。

圖1 CMOS輔助實現的SOT-BSN. (a) SOT-MTJ器件結構; (b) SOT-BSN的電路原理圖

隨后，該項工作將SOT-BSN輸出特性的擬合曲線應用于基于RBM的推薦系統中，并在電影評分數據集上進行了訓練，使系統能夠捕捉用戶偏好并進行推薦。結果顯示，該推薦系統的預測精度達到了96.08%。這表明SOT-BSN可作為RBM神經網絡的硬件加速器。

圖2 基于RBM的推薦系統的層次結構。RBM網絡由可見層(Visible Layer)和隱藏層(Hidden Layer)組成。包括已評分的和未評分(Missing)的數據被輸入到原始可見層v(0)中，經過n次訓練和迭代后，RBM網絡生成可見層的重構版本v(n)，對其中未評分的數據做出預測，w(0)和w(0)分別代表訓練前后的權重，它們實際上是同一組權重。特別地，訓練過程中使用sigmoid激活函數對矩陣乘結果進行概率取樣的過程可以直接在SOT-MTJ上進行

圖3 SOT-BSN的輸出特性及應用表現。(a-c) SOT-BSN在輸入脈沖電壓為436 mV(a)、444 mV(b)、454 mV(c)的開關結果。(d) SOT-BSN開關概率隨電壓調控的特性曲線。(e) 在使用理想sigmoid曲線和SOT-BSN開關特性擬合曲線進行隨機采樣情況下，RBM推薦系統準確率隨訓練周期的變化

最后，文章探討了SOT-BSN器件間差異（device-to-device variation）對RBM系統性能的影響，通過在器件參數中引入高斯分布模擬工藝導致的器件間差異。仿真結果展示了此類差異RBM系統的整體精度的影響，為未來的硬件實現提供了參考。

圖4 器件間差異(D2D variation)對RBM神經網絡系統性能的影響。(a) 當器件參數分布標準差σ為0.03時，不同器件開關概率隨電壓調控的特性曲線。(b) σ不同時，系統準確率隨訓練周期的變化。(c) 100個訓練周期完成后的系統準確率隨σ的變化

葉曉舟, 段威, 曹真, 王楷元, 游龍*. 基于自旋軌道力矩隨機二值神經元的推薦系統構建. 科學通報, 2025, 70(13): 1929–1936

doi: 10.1360/TB-2024-0934

轉載、投稿請留言

| 關注科學通報 | 了解科學前沿