本文第一作者莊湛，香港城市大學(xué)和南方科技大學(xué)聯(lián)合培養(yǎng)博士生，研究方向是遷移學(xué)習(xí)、擴(kuò)散模型、大模型微調(diào)等。本文通訊作者魏穎，浙江大學(xué)「百人計劃」研究員，博士生導(dǎo)師，研究方向包括持續(xù)學(xué)習(xí)、遷移學(xué)習(xí)、組合泛化以及在科學(xué)領(lǐng)域中的應(yīng)用等。通訊作者張宇，南方科技大學(xué)副教授，研究方向包括深度學(xué)習(xí)、多任務(wù)學(xué)習(xí)、遷移學(xué)習(xí)、元學(xué)習(xí)以及在計算機(jī)視覺和自然語言處理方面的應(yīng)用。

還在為 LoRA 訓(xùn)練不穩(wěn)定、模型融合效果差、剪枝后性能大降而煩惱嗎？來自香港城市大學(xué)、南方科技大學(xué)、浙江大學(xué)等機(jī)構(gòu)的研究者們提出了一種簡單的漸進(jìn)式訓(xùn)練策略，CoTo，通過在訓(xùn)練早期隨機(jī)失活一部分適配器，并逐漸提高其激活概率，有效緩解了層級不均衡問題，并顯著增強(qiáng)了模型在多任務(wù)融合和剪枝等操作上的魯棒性和有效性。該工作已被機(jī)器學(xué)習(xí)頂會 ICML 2025 接收。

• 論文標(biāo)題：Come Together, But Not Right Now: A Progressive Strategy to Boost Low-Rank Adaptation
• 論文鏈接：https://openreview.net/forum?id=Zha2m39ZoM
• 代碼倉庫：https://github.com/zwebzone/coto
• 官網(wǎng)海報：https://icml.cc/virtual/2025/poster/44836

常規(guī) LoRA 訓(xùn)練的隱藏缺陷

參數(shù)高效微調(diào)技術(shù)已成為預(yù)訓(xùn)練大模型在下游任務(wù)應(yīng)用的關(guān)鍵技術(shù)。然而，盡管 LoRA 如此成功，它依然面臨著一些棘手的問題：

1.「惰性訓(xùn)練」（Lazy Training）：LoRA 的優(yōu)化過程常常會陷入初始化點附近的次優(yōu)解，限制了模型的泛化能力。

2.層級不平衡：在訓(xùn)練中，梯度更新往往集中位于模型的頂層適配器，導(dǎo)致底層適配器訓(xùn)練不足，整體性能受限。

3.下游操作困難：上述問題使得多個 LoRA 模型的融合和剪枝等下游操作變得非常困難，效果常常不盡人意。

CoTo 策略：何不讓 LoRA 「漸入佳境」？

為了解決這些挑戰(zhàn)，研究者們提出了 CoTo，其核心思想非常簡潔直觀：在訓(xùn)練初期，不必讓每一層的訓(xùn)練「一擁而上」，而是讓 LoRA 適配器 「循序漸進(jìn)」 地參與訓(xùn)練。具體來說，CoTo 采用了一種漸進(jìn)式的激活策略：

• 訓(xùn)練初期：以一個較高的概率隨機(jī) 「失活」 一部分 LoRA 適配器。這迫使模型在更新時不能過分依賴某幾層，從而讓梯度更均勻地流向所有層級，鼓勵模型探索更廣闊的參數(shù)空間。
• 訓(xùn)練中后期：線性地提高適配器的激活概率，直到所有適配器都完全參與訓(xùn)練，回歸到標(biāo)準(zhǔn)的微調(diào)模式。

這種 「先抑后揚(yáng)」 的策略帶來了諸多好處：它不僅促進(jìn)了層級間的均衡優(yōu)化，還顯著提升了不同隨機(jī)種子訓(xùn)練出的模型之間的線性模式連通性 (Linear Mode Connectivity, LMC) 和 Dropout 穩(wěn)定性，為模型融合與剪枝打下了堅實的基礎(chǔ)。

圖 1：CoTo 漸進(jìn)式激活示意圖。訓(xùn)練初期（t <3T/4），適配器被隨機(jī)失活（灰色部分），其激活概率 p (t) 隨訓(xùn)練線性增長；訓(xùn)練后期，所有適配器保持激活。

實驗結(jié)果

CoTo 最令人興奮的貢獻(xiàn)在于它極大地提升了 LoRA 模型的融合和剪枝能力，且 CoTo 本身也能在單任務(wù)的泛化性能和訓(xùn)練效率上帶來提升。

更有效的模型融合

• 線性插值準(zhǔn)確率：在常識推理與圖像分類任務(wù)中，對兩個獨立訓(xùn)練的 LoRA 模型進(jìn)行線性插值時，標(biāo)準(zhǔn) LoRA 的性能在融合點 (λ=0.5) 會急劇下降。相比之下，CoTo 模型展現(xiàn)了優(yōu)越的線性模式連通性 (LMC)，在整個插值路徑上均能保持平滑且高效的性能過渡。
• 多任務(wù) LoRA 融合：在 GLUE 數(shù)據(jù)集上，無論是基于 LLaMA-2 (7B, 13B) 還是 DeBERTa-v3 模型，通過 CoTo 訓(xùn)練的 LoRA 模塊在進(jìn)行多任務(wù)合并時，其準(zhǔn)確率均穩(wěn)定超越了使用常規(guī)訓(xùn)練方法融合的基線模型。

圖 2：常識推理任務(wù)的線性插值準(zhǔn)確率。

圖 3：圖像分類任務(wù)的線性插值準(zhǔn)確率。

圖 4：使用 LLaMA-2-7B 和 LLaMA-2-13 模型進(jìn)行多任務(wù) LoRA 融合的準(zhǔn)確率。

更魯棒的模型剪枝

CoTo 的訓(xùn)練方式天然地增強(qiáng)了模型的剪枝容錯能力。如下圖所示，無論是在移除交替層、底層、中層還是高層適配器的結(jié)構(gòu)化剪枝中，還是在不同稀疏度的非結(jié)構(gòu)化剪枝中，CoTo-LoRA 的性能都全面超越了標(biāo)準(zhǔn) LoRA。

圖 5：結(jié)構(gòu)化剪枝對比（左）和非結(jié)構(gòu)化剪枝對比（右）。

性能與效率雙提升

• 性能更強(qiáng)：在涵蓋視覺（11 個圖像分類任務(wù)）、語言（8 個常識推理任務(wù)）和數(shù)學(xué)推理等多個領(lǐng)域的基準(zhǔn)測試中，CoTo 都能穩(wěn)定地提升包括 LoRA、DoRA、HiRA 在內(nèi)的多種 LoRA 變體的性能。
• 訓(xùn)練更快：由于在訓(xùn)練早期跳過了部分適配器的計算，CoTo 還能降低訓(xùn)練開銷。例如，在 HiRA 上應(yīng)用 CoTo，可以實現(xiàn)超 24%的訓(xùn)練加速！

圖 6：在常識推理和數(shù)學(xué)推理上，基于不同 LoRA 變體和訓(xùn)練策略的性能提升。

消融實驗

為了驗證 CoTo 各個設(shè)計選擇的合理性并探究其性能提升的根源，研究團(tuán)隊在訓(xùn)練階段比例、激活概率曲線、嵌套 Dropout 策略、學(xué)習(xí)率和 LoRA rank 等多個方面進(jìn)行了一系列嚴(yán)謹(jǐn)?shù)南趯嶒灐＿@些實驗不僅證明了 CoTo 設(shè)計的合理性，也為我們提供了關(guān)于如何有效正則化 LoRA 的深刻見解。

令人欣喜的是，CoTo 的代碼實現(xiàn)十分簡潔，用戶只需對現(xiàn)有 LoRA 訓(xùn)練流程做三步改動即可利用這一策略，感興趣的讀者可以訪問代碼倉庫，親自體驗 CoTo 的效果！

總結(jié)

CoTo 通過一個簡單而巧妙的漸進(jìn)式訓(xùn)練策略，有效解決了 LoRA 訓(xùn)練中的層級不平衡和 「懶惰」 優(yōu)化問題。它不僅提升了模型的單任務(wù)泛化能力，更重要的是，它極大地增強(qiáng)了 LoRA 適配器的可組合性與魯棒性，讓模型融合與剪枝等下游操作變得更加簡單高效。CoTo 無需修改模型架構(gòu)，可以作為即插即用的模塊與各類 LoRA 方法無縫集成。文章中還提供了漸進(jìn)優(yōu)化和合作博弈兩個角度深入分析了 CoTo 帶來的優(yōu)勢。我們相信，這項工作將為參數(shù)高效微調(diào)領(lǐng)域的研究與應(yīng)用帶來新的啟發(fā)。