鷺羽 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

告別繁瑣微調(diào)，一句話就能生成LoRA？！

由Transformer作者之一Llion Jones聯(lián)合創(chuàng)立的明星AI公司SakanaAI，近期推出Text-to-LoRA（T2L），徹底簡(jiǎn)化了模型適配流程：

現(xiàn)在，微調(diào)大模型時(shí)動(dòng)輒數(shù)周的數(shù)據(jù)集準(zhǔn)備、反復(fù)調(diào)整超參數(shù)的復(fù)雜流程，可以省了。

使用T2L生成的LoRA在參數(shù)壓縮率上可達(dá)80%卻僅降1.2%準(zhǔn)確率，零樣本場(chǎng)景下更以78.3%的平均準(zhǔn)確率超越現(xiàn)有SOTA方法。

可以說(shuō)，“一句話定制模型”的時(shí)代正在開(kāi)啟，非技術(shù)用戶不再需要學(xué)習(xí)復(fù)雜的微調(diào)知識(shí)，直接用通俗易懂的自然語(yǔ)言就可以完成相應(yīng)工作。

有網(wǎng)友甚至把它比喻為L(zhǎng)LM的一個(gè)只有文字描述的私人教練，將會(huì)徹底改變游戲規(guī)則。

目前該論文已被ICML2025收錄。

詳細(xì)內(nèi)容如下：

從文本到LoRA

LLM在執(zhí)行特定任務(wù)前，都需要先進(jìn)行適配的LoRA微調(diào)，為每個(gè)任務(wù)單獨(dú)訓(xùn)練低秩矩陣，往往耗費(fèi)大量計(jì)算資源和時(shí)間。

研究團(tuán)隊(duì)從人類視覺(jué)系統(tǒng)中汲取靈感，即在有限的感官線索下可以實(shí)現(xiàn)環(huán)境快速適應(yīng)，并由此構(gòu)建了能夠動(dòng)態(tài)調(diào)制大模型的超網(wǎng)絡(luò)架構(gòu)Text-to-LoRA（T2L）。

T2L包含3種架構(gòu)變體，它們?cè)谳敵隹臻g和參數(shù)規(guī)模上各有不同，具體為：

• T2L-L：

為每個(gè)目標(biāo)模塊（如注意力層、MLP 層）和網(wǎng)絡(luò)層生成完整的 LoRA 權(quán)重矩陣。

該架構(gòu)的參數(shù)規(guī)模最大，但能靈活適配不同層的特性，適用于需要精細(xì)控制每層適配的場(chǎng)景。

• T2L-M：

按模塊類型（而非具體層）共享輸出空間。對(duì)于同一類型的模塊，超網(wǎng)絡(luò)僅生成一組共享的LoRA矩陣，并應(yīng)用于該類型下的所有層。

該架構(gòu)通過(guò)參數(shù)共享減少了模型規(guī)模，同時(shí)保留了模塊類型級(jí)別的適配能力，在參數(shù)效率和性能之間取得平衡。

• T2L-S：

為整個(gè)模型生成統(tǒng)一的LoRA適配器，不區(qū)分模塊類型和層索引。

該架構(gòu)參數(shù)規(guī)模最小，適用于計(jì)算資源有限或任務(wù)需求較通用的場(chǎng)景，通過(guò)全局適配實(shí)現(xiàn)快速部署。

為了訓(xùn)練T2L模型，可以采用兩種訓(xùn)練模式，分別是基于LoRA的重建和跨多個(gè)任務(wù)的監(jiān)督微調(diào)（SFT）。

LoRA重建的核心思想是讓T2L從任務(wù)的文本描述中，生成與真實(shí)LoRA適配器效果相近的參數(shù)，從而最大限度地減少生成適配器和目標(biāo)適配器之間的重建損失。

這種方法避免了傳統(tǒng)方法中對(duì)大量任務(wù)數(shù)據(jù)的依賴，轉(zhuǎn)而利用已有的LoRA適配器和文本描述構(gòu)建監(jiān)督信號(hào)，壓縮了現(xiàn)有的LoRAs，但難以進(jìn)行零鏡頭泛化。

而監(jiān)督微調(diào)則是使用任務(wù)描述，在任務(wù)數(shù)據(jù)集上直接端到端訓(xùn)練T2L。這改進(jìn)了對(duì)未知任務(wù)的泛化，并能夠根據(jù)文本描述生成具有可引導(dǎo)行為的適配器。

針對(duì)T2L的適配器壓縮性能，團(tuán)隊(duì)進(jìn)行了實(shí)驗(yàn)驗(yàn)證。

通過(guò)設(shè)置9個(gè)不同的NLP任務(wù)，將一一對(duì)應(yīng)的LoRA適配器參數(shù)壓縮為文本描述的嵌入向量，并通過(guò)3種T2L變體分別重建LoRA參數(shù)。

實(shí)驗(yàn)發(fā)現(xiàn)，重建LoRA與原始LoRA相比，參數(shù)規(guī)模從15.8M下降為3.2M，壓縮率達(dá)80%，但在任務(wù)的平均準(zhǔn)確率上僅下降了1.2%，證明了壓縮過(guò)程中的知識(shí)保留能力。

其中，T2L-L在壓縮后性能最接近原始LoRA，而T2L-S壓縮率最高。

T2L能夠?qū)崿F(xiàn)高效的參數(shù)壓縮，可以極大地減少存儲(chǔ)需求，幫助LLM在資源受限環(huán)境中進(jìn)行部署。

團(tuán)隊(duì)還進(jìn)一步驗(yàn)證了T2L在零樣本場(chǎng)景下生成LoRA適配器的能力。

構(gòu)建了12個(gè)全新的NLP任務(wù)并各自提供自然語(yǔ)言描述，使用T2L生成的對(duì)應(yīng)LoRA適配器直接應(yīng)用于基礎(chǔ)模型，測(cè)試其在標(biāo)注數(shù)據(jù)集上的性能。

結(jié)果表明，T2L的平均準(zhǔn)確率達(dá)到了78.3%，顯著高于多任務(wù)LoRA的65.1%，和目前最先進(jìn)的零樣本LoRA路由方法Arrow Routing的72.4%。

其中T2L-L因?yàn)槟軌驗(yàn)椴煌瑢佣ㄖ茀?shù)，在復(fù)雜任務(wù)中表現(xiàn)最佳，而T2L-S在簡(jiǎn)單任務(wù)上效率更高，參數(shù)規(guī)模僅為T(mén)2L-L的五分之一，但性能僅下降3.2%。

源于超網(wǎng)絡(luò)對(duì) “文本語(yǔ)義 - 參數(shù)空間” 映射的顯式學(xué)習(xí)，T2L實(shí)現(xiàn)了真正的文本驅(qū)動(dòng)，無(wú)需任務(wù)數(shù)據(jù)即可通過(guò)自然語(yǔ)言描述生成有效LoRA，這為模型快速適應(yīng)長(zhǎng)尾任務(wù)提供了可能。

Transformer作者創(chuàng)業(yè)公司

背后的公司Sakana AI，由前谷歌研究人員Llion Jones于2023年7月共同創(chuàng)立。

Llion Jones是著名論文《Attention Is All You Need》的8位核心作者之一，論文中首次提出了Transformer架構(gòu)，為現(xiàn)代LLM架構(gòu)奠定了基石。

在谷歌工作期間，他還深度參與NLP、模型架構(gòu)創(chuàng)新等眾多核心AI項(xiàng)目，例如Prot Trans、Tensor2Tensor等。

而創(chuàng)辦Sakana AI后，他也始終致力于探索超越和補(bǔ)充當(dāng)前Transformer范式的新路徑，例如他們?cè)谌ツ甑淄瞥隽擞糜赥ransformer的新型神經(jīng)記憶系統(tǒng)NAMM，今年1月提出的Transformer2可以針對(duì)各種任務(wù)動(dòng)態(tài)調(diào)整權(quán)重。

目前公司專注利用自然啟發(fā)的方法（如進(jìn)化計(jì)算和集體智能）來(lái)開(kāi)發(fā)基礎(chǔ)模型，例如在今年5月他們根據(jù)達(dá)爾文進(jìn)化論提出了達(dá)爾文哥德?tīng)枡C(jī)（DGM），可以讓AI通過(guò)讀取和修改自身代碼來(lái)提升編碼性能。

而本篇論文則由Rujikorn Charakorn、Edoardo Cetin、Yujin Tang、Robert T. Lange共同完成。

Rujikorn Charakorn曾在朱拉隆功大學(xué)就讀，目前在VISTEC研究所攻讀博士學(xué)位，主要研究方向是深度強(qiáng)化學(xué)習(xí)、多智能體學(xué)習(xí)和元學(xué)習(xí)。

Edoardo Cetin于2023年獲得倫敦國(guó)王學(xué)院的博士學(xué)位，目前是Sakana AI的研究科學(xué)家，此前還曾在推特的Cortex團(tuán)隊(duì)、豐田和高盛實(shí)習(xí)。

而Yujin Tang則博士畢業(yè)于東京大學(xué)，曾在谷歌工作長(zhǎng)達(dá)5年，后來(lái)于2024年加入Sakana AI。

Robert T. Lange是Sakana AI的研究科學(xué)家和創(chuàng)始成員之一，致力于用基礎(chǔ)模型來(lái)增強(qiáng)和自動(dòng)化科學(xué)發(fā)現(xiàn)過(guò)程。

他還主導(dǎo)參與了首個(gè)獨(dú)立生成學(xué)術(shù)論文的“AI科學(xué)家”項(xiàng)目，還曾在社區(qū)引起廣泛熱議。

論文鏈接：https://arxiv.org/abs/2506.06105
代碼鏈接：https://github.com/SakanaAI/Text-to-Lora

參考鏈接：
[1]https://x.com/RobertTLange/status/1933074366603919638
[2]https://huggingface.co/SakanaAI/text-to-lora/tree/main
[3]https://x.com/tan51616/status/1932987022907670591
[4]https://x.com/SakanaAILabs/status/1932972420522230214