近日

由華南理工大學(xué)陳敏教授主導(dǎo)

聯(lián)合華中科技大學(xué)、琶洲實(shí)驗(yàn)室的科研團(tuán)隊(duì)

在自然語(yǔ)言大模型小樣本微調(diào)研究領(lǐng)域

提出了極具創(chuàng)新性的方案

自然語(yǔ)言微調(diào)技術(shù)（NLFT）

該技術(shù)通過(guò)極低的計(jì)算資源和少量數(shù)據(jù)投入

顯著提升了大模型在特定領(lǐng)域的效果

相較傳統(tǒng)微調(diào)方法

NLFT顯著降低了技術(shù)門檻

使得更多科研機(jī)構(gòu)和企業(yè)能夠

在常規(guī)計(jì)算設(shè)備上實(shí)現(xiàn)高效微調(diào)

這一成果不僅為大語(yǔ)言模型的普及

鋪平了道路

也為人工智能技術(shù)的普及應(yīng)用

提供了新的可能性

人工智能大語(yǔ)言模型（LLM）在海量預(yù)訓(xùn)練后，往往具備一定的通用能力，而在特定細(xì)分領(lǐng)域的表現(xiàn)不盡如人意。

為了提升模型在細(xì)分領(lǐng)域的針對(duì)性功能，傳統(tǒng)的微調(diào)方法需要借助大量領(lǐng)域數(shù)據(jù)進(jìn)行特定訓(xùn)練，如何在大模型的應(yīng)用過(guò)程中解決高昂的算力需求和數(shù)據(jù)稀缺等問(wèn)題，仍然是行業(yè)面臨的巨大挑戰(zhàn)。

在此情境下，陳敏教授科研團(tuán)隊(duì)提出的自然語(yǔ)言微調(diào)技術(shù)（NLFT）為解決這一問(wèn)題提供了新的可能。

在大語(yǔ)言模型（LLMs）微調(diào)領(lǐng)域

現(xiàn)有的模型微調(diào)技術(shù)主要為

監(jiān)督微調(diào)技術(shù)（SFT）

強(qiáng)化微調(diào)技術(shù)（ReFT）

現(xiàn)有微調(diào)技術(shù)分析

陳敏教授科研團(tuán)隊(duì)用類比的方式

把大語(yǔ)言模型比作學(xué)生

而大模型微調(diào)過(guò)程則類似學(xué)生的學(xué)習(xí)過(guò)程

1

監(jiān)督微調(diào)技術(shù)（SFT）

監(jiān)督微調(diào)技術(shù)（SFT）示意圖

SFT 是大模型微調(diào)的經(jīng)典技術(shù)路線

在此過(guò)程中

學(xué)生以“鸚鵡學(xué)舌”的方式學(xué)習(xí)

通過(guò)抄寫大量問(wèn)題和標(biāo)準(zhǔn)答案對(duì)

在看到某些特定問(wèn)題時(shí)

能夠?qū)懴骂A(yù)定的答案

這種訓(xùn)練范式依賴大量數(shù)據(jù)

2

強(qiáng)化微調(diào)技術(shù)（ReFT）

強(qiáng)化微調(diào)技術(shù)（ReFT）示意圖

ReFT 則通過(guò)幾個(gè)周期的監(jiān)督式微調(diào)

將學(xué)生“預(yù)熱”起來(lái)

獲得解題的基本技巧

為了進(jìn)一步提高技巧

學(xué)生提交包含引導(dǎo)問(wèn)題

解決方案詳細(xì)分析的“答卷”

通過(guò)與標(biāo)準(zhǔn)答案進(jìn)行比對(duì)

給每份“答卷”打分

學(xué)生將根據(jù)分?jǐn)?shù)調(diào)整數(shù)學(xué)推理的策略

通過(guò)強(qiáng)化學(xué)習(xí)機(jī)制習(xí)得推理能力

該訓(xùn)練范式通過(guò)多輪提交“答卷”

從評(píng)估系統(tǒng)中獲得反饋

較為耗時(shí)

可供微調(diào)的數(shù)據(jù)量較少時(shí)

以上微調(diào)技術(shù)效果不理想

怎么辦？

陳敏教授團(tuán)隊(duì)率先提出

自然語(yǔ)言微調(diào)技術(shù)（NLFT）

省去了基于強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)的“預(yù)熱”環(huán)節(jié)

減少了對(duì)海量數(shù)據(jù)和高算力資源的依賴

自然語(yǔ)言微調(diào)（NLFT）示意圖

學(xué)生直接提交“答卷”

通過(guò)將目標(biāo)模型自身作為自然語(yǔ)言評(píng)價(jià)器

實(shí)現(xiàn)對(duì)學(xué)生的答題過(guò)程細(xì)粒度的分析

標(biāo)注出得分點(diǎn)與失分點(diǎn)

通過(guò)內(nèi)部指導(dǎo)得到學(xué)習(xí)

自然語(yǔ)言微調(diào)技術(shù)（NLFT）的核心理念展示

自然語(yǔ)言微調(diào)（NLFT）訓(xùn)練時(shí)輸出顯著圖

使用該技術(shù)在單張消費(fèi)級(jí)顯卡RTX 4090上

跑通的8b微調(diào)大模型

可以在使用極少專家數(shù)據(jù)的前提下

獲得成倍的性能提升

為LLMs的大規(guī)模訓(xùn)練和部署

提供了新的可能性

新技術(shù)三大突破

細(xì)粒度反饋機(jī)制：通過(guò)目標(biāo)模型本身的自然語(yǔ)言理解能力，精準(zhǔn)標(biāo)注每個(gè)token的得分點(diǎn)和失分點(diǎn)，避免了傳統(tǒng)方法對(duì)外部指導(dǎo)的需求。

零預(yù)熱學(xué)習(xí)：NLFT省去ReFT中必需的多輪預(yù)訓(xùn)練階段，直接進(jìn)行有效微調(diào)。

充分發(fā)揮語(yǔ)言模型能力：科研團(tuán)隊(duì)利用目標(biāo)模型本身作為自然語(yǔ)言評(píng)價(jià)器，發(fā)揮其對(duì)語(yǔ)言的深刻理解能力，用可解釋性強(qiáng)的方式精準(zhǔn)標(biāo)注，幫助模型迭代進(jìn)步。

日前

陳敏教授團(tuán)隊(duì)與部分醫(yī)院開(kāi)展合作

利用自然語(yǔ)言微調(diào)技術(shù)（NLFT）

輸出診斷報(bào)告

結(jié)果顯示

NLFT技術(shù)診斷準(zhǔn)確率遠(yuǎn)超現(xiàn)有基礎(chǔ)模型

后續(xù)

研究團(tuán)隊(duì)將根據(jù)實(shí)際情況批改診斷報(bào)告

并反哺給NLFT技術(shù)進(jìn)行二次微調(diào)

NLFT技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用指日可待

計(jì)算機(jī)科學(xué)與工程學(xué)院教授 陳敏

陳敏，現(xiàn)任華南理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院教授，博導(dǎo)；長(zhǎng)期致力于數(shù)據(jù)驅(qū)動(dòng)型通信、計(jì)算與人工智能領(lǐng)域的研究。憑借其在學(xué)術(shù)界的杰出貢獻(xiàn)，當(dāng)選為國(guó)際電氣與電子工程師學(xué)會(huì)（IEEE）會(huì)士，并連續(xù)多年入選全球高被引學(xué)者。

目前，陳敏教授已發(fā)表SCI論文200余篇，出版學(xué)術(shù)著作12本，Google Scholar引用超過(guò)49,500次，H指數(shù)達(dá)101，屢獲IEEE等國(guó)際學(xué)術(shù)獎(jiǎng)項(xiàng)。

創(chuàng)新不僅僅是推動(dòng)科研發(fā)展的目標(biāo)，

更是為社會(huì)進(jìn)步和技術(shù)普及提供動(dòng)力。

陳敏教授研究團(tuán)隊(duì)

秉持“獨(dú)樹(shù)不成林，獨(dú)智不成謀”的理念

于2024年12月29日在GitHub上

開(kāi)源了所有相關(guān)代碼、數(shù)據(jù)和模型

鼓勵(lì)大家積極探索該技術(shù)的應(yīng)用潛力

除此之外

團(tuán)隊(duì)積極尋求在不同領(lǐng)域的泛化應(yīng)用研究

期望為行業(yè)應(yīng)用提供更多可行的解決方案

研究問(wèn)題涉及

問(wèn)答推理、醫(yī)學(xué)診療、社會(huì)信息管理

以及特定工程領(lǐng)域的深度輔助

隨著研究推進(jìn)

NLFT技術(shù)將取得更廣泛的應(yīng)用成果

華南理工大學(xué)一直致力于推動(dòng)科技創(chuàng)新和成果轉(zhuǎn)化，尤其在人工智能、數(shù)據(jù)科學(xué)等前沿領(lǐng)域取得了諸多突破。依托交叉學(xué)科平臺(tái)和強(qiáng)大的科研團(tuán)隊(duì)，學(xué)校不斷攻克技術(shù)難題，將前沿科技與產(chǎn)業(yè)需求緊密對(duì)接。此次NLFT技術(shù)的成功研發(fā)，是學(xué)校在技術(shù)創(chuàng)新與人才培養(yǎng)方面的又一重要成就。

近年來(lái)，學(xué)校加大了對(duì)創(chuàng)新科研項(xiàng)目的支持力度，優(yōu)化科研管理機(jī)制，提升整體科研水平。與此同時(shí)，學(xué)校積極推動(dòng)產(chǎn)學(xué)研合作，深化科技創(chuàng)新與產(chǎn)業(yè)發(fā)展的融合，加速科技成果的轉(zhuǎn)化應(yīng)用。NLFT技術(shù)的推出，不僅是學(xué)校科研創(chuàng)新的重要成果，也展示了華南理工大學(xué)在推動(dòng)科技與產(chǎn)業(yè)融合、技術(shù)應(yīng)用轉(zhuǎn)化方面的領(lǐng)先優(yōu)勢(shì)。

讓科技改變生活

華工人一直在路上！！

華南理工大學(xué)　學(xué)生記者團(tuán)

信息來(lái)源：計(jì)算機(jī)科學(xué)與工程學(xué)院 鳳凰網(wǎng)

圖：受訪者提供

微信編輯：楊曉霓

初審：冀早早

二審：盧慶雷

終審：鄒浩

華工原創(chuàng)，版權(quán)所有

若需轉(zhuǎn)載，敬請(qǐng)聯(lián)絡(luò)

郵箱：hgxcb@scut.edu.cn

“分享”“點(diǎn)贊”“在看”，記得一鍵三連哦