AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

如今，像各種智能物聯網（IoT）設備這樣的邊緣計算設備無處不在。然而，這些設備通常受限于有限的計算資源和存儲容量，導致在這些設備上部署深度神經網絡（DNNs）時，往往需要使用較小的神經網絡架構。雖然這些小型網絡在計算上更為經濟，但往往會犧牲一定的性能。

為了緩解這一限制，知識轉移是解決方案之一。現有的知識轉移方法主要有兩種：知識蒸餾和遷移學習。

知識蒸餾通過訓練一個緊湊的學生模型來模仿教師模型的 Logits 或 Feature Map，提高學生模型的準確性。遷移學習則通常通過預訓練和微調，將預訓練階段在大規模數據集上學到的知識通過骨干網絡共享應用于下游任務。

這兩種傳統的知識遷移方法，往往依賴于模型結構或特定任務特征 / 標簽的共享元素。這種方法雖然在某些情況下效果不錯，但它們一定程度上限制了知識遷移的應用范圍，尤其是在更一般的情況下，模型架構，任務類型可能都不同，這些方法就顯得力不從心了。

想象一下，在物聯網（IoT）的應用場景中，不同的設備可能面臨著截然不同的計算資源和任務需求，所執行的任務和部署的模型也是千差萬別，這就給進行知識遷移帶來了額外的挑戰。

基于以上問題，來自來自浙江大學和上海交通大學的研究團隊提出了一種更加靈活、更加通用的知識遷移方法，來應對多變的需求和挑戰。這需要做到能跨越模型架構的差異，跨越任務類型的界限，甚至跨越不同數據模態之間的鴻溝，實現真正意義上的異構知識遷移。

• 論文標題：MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities
• 論文鏈接：https://arxiv.org/abs/2404.13322
• 項目地址：https://github.com/Fantasylii/mergenet

圖 1. 知識蒸餾、骨干共享和 MergeNet 的比較

研究挑戰

該團隊的目標是建立一個跨異構模型架構、任務與模態的通用知識遷移框架。與傳統知識遷移方法相比，存在兩方面挑戰：

如何實現異構模型知識的統一表示？

知識蒸餾通常利用 Logits 和 Feature Map 表示知識，但依賴于教師模型與學生模型執行任務類型。

遷移學習通常通過共享參數實現知識遷移，這要求源模型與目標模型具有相同架構，無法直接應用于模型架構可能不同的異構知識遷移場景。

如何實現異構模型知識的適配？

異構模塊之間知識通常不兼容，當異構模塊具有顯著不同的功能時，例如在線性層和注意力機制模塊之間，直接知識遷移可能會破壞原始模塊的知識。

在端云環境中，云端通常采用復雜的深度學習模型，這些模型包含大量參數和復雜層次結構。相比之下，端側設備由于計算能力和存儲資源的限制，通常使用輕量化的模型。

較大的模型比較小的模型包含更高級的知識（例如細粒度的特征組合），而后者可能無法直接理解這些知識，使得傳統的知識遷移方法面臨適配性和兼容性的問題。

MergeNet 框架

圖 2.MergeNet 框架

異構模型知識表示

如上文所述，無法直接使用 Logits 和 Feature Map 作為知識表示。相比之下，權重共享更能符合研究目標，不管什么架構的模型，執行什么任務，通過反向傳播迭代，最終的知識都會保存在模型參數中，這啟發了該團隊將模型參數作為知識的通用載體。

在探索的過程中，該團隊還嘗試了在異構模型之間直接進行參數共享。這種方法能應用于權重矩陣大小相同的情況，但是在其他情況下便不再有效。

他們也嘗試過讓大小不同的參數強行共享，例如，讓一個大小為 [2, 2] 的矩陣作為大小為 [5, 5] 矩陣的子矩陣，但這種強行的操作并不有效，異構的知識需要進行適配。

另外一點，由于權重矩陣通常較大，直接在兩個權重矩陣上進行操作所需要的計算資源過大，需要在適配之前進行一定的處理。為此，研究團隊對模型參數進行重新編碼，以低秩矩陣作為對異構知識的統一表示，消除了模型架構上的差異。

異構知識適配

簡單的參數共享會導致異構模型之間的知識不兼容，該團隊的思路是在模型之間引入一個參數適配器。它的任務是學習彌合異構模型參數空間的差距，促進這些參數空間內知識的直接交互，提取并融合異構模型間的知識：

其中，和表示知識遷移后兩個模型的參數。為了綜合利用兩模型的知識，在此引入低秩參數知識適配器（LPKA）。該機制用于從低秩矩陣中提取知識，并合并來自不同模型的知識以生成新的參數。

將低秩分解獲得的 和 按行 / 列展平，利用注意力機制將源模型的知識整合到目標模型中：

這個過程可以類比為模型根據自身的需求，從另一個模型中提取當前最有價值的知識片段，而不是全盤接收。這允許動態調整參數映射，在整個訓練過程中都能有效地適應不斷變化的知識需求。

就像在小學階段，我們學習的是加減乘除，而在大學，則會學習微積分；如果反之，在小學便一起學習微積分，不僅難以理解，而且也沒有必要。

訓練過程 (自學習和互學習)

回顧知識蒸餾的過程，學生模型除了根據教師的輸出標簽或中間層的表示計算損失，還會根據自身輸出與數據標簽計算損失。這好像是說，在學習的過程中，不能僅僅的去模仿老師，還要根據已經從老師那里學到的知識來產生自己的思考。

在這里，研究團隊將學生從老師那里得到知識的過程稱為互學習（在 MergeNet 中學習是可以相互的，學生可以變成老師，老師也可以變成學生），而學生根據知識自己學習的過程稱為自學習。

基于此，他們將 MergeNet 的訓練過程分為自學習和互學習兩個階段。自學習階段，模型通過梯度下降算法優化自身參數；而互學習階段，則涉及到模型間的知識遷移。

該團隊認為，僅依賴知識遷移無法達到最佳效果，因此提出了在知識遷移過程中穿插自學習，類似于在教師指導下的自我鞏固階段。這種設計使得模型在吸收外來知識的同時，也能夠鞏固和優化自身的知識結構。

實驗結果

研究團隊在跨結構、跨模式和跨任務知識遷移這幾個具有挑戰性的場景中，對 MergeNet 進行了廣泛的實驗。

跨結構知識轉移實驗

使用 CIFAR-100 數據集，在 ResNet50 和 MobileNetV2 之間進行知識遷移。從一個模型的模塊向結構不同的另一個模型的模塊轉移知識，具體是從線性分類器向卷積層轉移知識。

如表 1 所示，相比于知識蒸餾，MergeNet 在 MobileNetV2 上實現了 1.02% 的 Top-1 準確率提升。

跨模態知識轉移實驗

在 VQA v2.0 視覺問答任務和 MSCOCO 圖像 - 文本檢索任務上進行實驗，實驗模型為 X-VLM。利用一種模態的知識指導另一種模態的學習，具體是視覺編碼器參數與文本編碼器參數之間的知識轉移。

如表 2 所示，MergeNet 在不同設置下均顯著提升了準確率。表明在模態信息進入模態交互器之前進行模態編碼器之間的知識轉移，有助于交互器更輕松地整合來自不同模態的信息。

跨任務知識轉移實驗

研究分類任務（IMDb 情感分類）和問答任務（SQuAD v2.0）上的跨任務知識轉移效果。分別使用 BERT 和 DistilBERT 執行這兩個任務。

如表 3 所示，MergeNet 在兩個任務上均實現了性能提升。例如，從分類任務向問答任務轉移知識，使 Exact Match（EM）得分提高了 1.72%，F1 得分提高了 2.37%；從問答任務向分類任務轉移知識，使錯誤率降低了 0.52%。

消融實驗

• 訓練過程中自學習的比例的影響

該團隊研究了控制訓練過程中自學習比例的知識轉移周期的影響。下圖展示了在不同 Tcycle 系數下，MobileNetV2 和 ResNet50 在 CIFAR-100 數據集上的知識轉移結果。觀察到在訓練過程中加入自學習可以提升性能。

例如，當 Tcycle 設置為 4 時，MobileNetV2 的性能達到了 66.51%，比沒有自學習時的 60.09% 提高了 6.42%。

圖 3. 訓練過程中自學習的比例的消融實驗

• 各組件的有效性

如下表所示，通過消融研究驗證了 MergeNet 中每個組件的有效性。可以使用 MLP 作為參數適配器，但這種情況下目標模型會直接采用源模型的知識，而忽略自身積累的知識，可能導致訓練不穩定。與 MLP-based 參數適配器相比，MergeNet 的性能分別提高了 1.82% 和 1.31%。