「誒!這個 AI 怎么看不懂我要什么啊?」
日常里使用 AI 時常會發(fā)出這樣的感嘆,畢竟 AI 神經(jīng)網(wǎng)絡(luò)跟人類的神經(jīng)元不同,突觸之間的聯(lián)系沒有那么靈活,模型更容易落入被欺騙乃至遺忘的困境中。
不過,德國最近的一項研究帶來了轉(zhuǎn)機:伊爾梅瑙工業(yè)大學(xué)(Technische Universit?t Ilmenau)與哥廷根大學(xué)(University G?ttingen)的研究人員成功給 AI 神經(jīng)元裝上了三個「生物啟發(fā)模塊」,讓 AI 不僅學(xué)更快、記得更牢,還能抵御數(shù)據(jù)攻擊。
該研究以「Concept transfer of synaptic diversity from biological to artificial neural networks」為題,于 2025 年 6 月 2 日刊登于《Nature Communications》。
論文鏈接:https://www.nature.com/articles/s41467-025-60078-9
biomod
研究團隊提出了一種生物修飾的人工神經(jīng)網(wǎng)絡(luò) (biomod),用于研究引入常見 ANN 架構(gòu)時的突觸多樣性。
圖 1:檢查的突觸多樣性機制及其各自的人工模型的可視化。
該團隊通過分析生物突觸的動態(tài)特性(如樹突棘的存活概率與突觸強度正相關(guān)、多突觸連接的信息存儲能力),設(shè)計了三種輕量化計算模塊:
- 模糊學(xué)習(xí)率(FL):為每個突觸分配隨機初始化的學(xué)習(xí)率因子,模擬生物突觸對刺激的差異化響應(yīng);
- 權(quán)重更新(WR):基于突觸權(quán)重大小隨機重新初始化連接,模仿棘突的自發(fā)重塑與修剪;
- 權(quán)重拆分(WS):在神經(jīng)元間建立多突觸連接,增強信號傳遞的冗余性與穩(wěn)定性。
圖 2:在 MNIST、CIFAR10 和 CIFAR100 數(shù)據(jù)集中進行生物啟發(fā)修飾的綜合性能評估。
在 MNIST、CIFAR10/100 等基準(zhǔn)數(shù)據(jù)集上,融合三種機制的 biomod 在默認參數(shù)下展現(xiàn)出顯著優(yōu)勢:
在 AlexNet 架構(gòu)的 CIFAR10 任務(wù)中,錯誤率從基線模型的 19.4% 降至 6.38%,絕對提升 13.02%;ResNet56 在 CIFAR100 的錯誤率從 32.28% 降至 17.86%,提升 44.66%。
達到峰值準(zhǔn)確率的訓(xùn)練輪次平均減少 9% ~ 47%。例如,MLP 在 MNIST 任務(wù)中僅需 25 輪次(基線需 32 輪次),AlexNet 在 CIFAR10 任務(wù)中輪次從 100 輪降至 53 輪。
安全防護
在聯(lián)邦學(xué)習(xí)場景中,黑客可能通過梯度信息竊取訓(xùn)練數(shù)據(jù)。但 biomod 的模塊就像防線一般:FL 模塊讓每個突觸的更新速度隨機變化,使黑客難以還原原始數(shù)據(jù);WS 模塊使信號通過多條連接傳遞,梯度被分流到多個權(quán)重。
實驗顯示,傳統(tǒng)模型的重構(gòu)圖像還能看出輪廓,而 biomod 的重構(gòu)圖像完全由噪點構(gòu)成,重構(gòu)誤差暴增了 56 倍。
圖 3:通過梯度反轉(zhuǎn)阻力增強隱私保護的視覺演示。
小結(jié)
biomod 兼容性強,額外計算開銷不到 5%,在 GPU 上訓(xùn)練還能加速 30%。團隊還開發(fā)了 PyTorch 工具包,只需一行代碼就能給現(xiàn)有模型裝上補丁。
研究通過跨物種神經(jīng)數(shù)據(jù)驗證機制普適性:從嚙齒類皮層突觸動態(tài)到靈長類多突觸連接模式,biomod 的設(shè)計均與生物實驗結(jié)果吻合。
隨著腦科學(xué)數(shù)據(jù)的持續(xù)積累,這種「神經(jīng)啟發(fā)計算」或?qū)⑼苿油ㄓ萌斯ぶ悄芟蛏镏悄艿慕I疃妊葸M,為自動駕駛、醫(yī)療影像等關(guān)鍵領(lǐng)域提供更具生物合理性的算法基礎(chǔ)。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.