上海
實現自正交化吸引子神經網絡Self-orthogonalizing attractor neural networks
描述了一類特殊的、直接從 FEP 中涌現的、適應性自組織的吸引子網絡，而無需顯式設定的學習或推理規則。首先，我們展示了一個特定劃分的層級化表述——這一概念適用于任何復雜動力系統——可以產生與眾所周知的人工吸引子網絡架構具有相同功能形式的系統。其次，我們展示，針對此類系統的內部狀態最小化變分自由能（VFE），可得到一種類似玻爾茲曼機的隨機更新機制，其中連續狀態的隨機霍普菲爾德網絡是一個特例。第三，我們展示，針對系統的內部毯層或邊界狀態（耦合）最小化 VFE，會引發一種基于廣義預測編碼的學習過程。關鍵的是，這一適應性過程不僅僅是加強具體的感官模式；它學會覆蓋整個關鍵模式的子空間，通過建立近似正交化的吸引子表征，系統可以在推理過程中組合這些表征。我們通過仿真識別出準正交吸引子涌現的必要條件，并展示了所提出的吸引子網絡對未見數據進行泛化的能力。最后，我們強調，所提出的吸引子網絡可以自然地生成序列吸引子（如果輸入數據以清晰的順序呈現），并通過自發活動舉例說明其持續學習能力和抵抗災難性遺忘的潛力。最后我們討論了該框架的可檢驗預測，并探討這些發現對自然智能和人工智能系統的廣泛意義。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
