隨著大模型應用發(fā)展的深入，參數(shù)高效微調（PEFT）憑借定制化、精準性等優(yōu)勢，成為大模型優(yōu)化的熱門方式，其中，LoRA引入?低秩矩陣，實現(xiàn)了不輸全面微調的下游適應性能，但是，增長的訓練需求也帶來了存儲和傳輸成本。為了顯著提升LoRA計算效率，NeurIPS'24 Oral工作（64/15671 =0.4%）HydraLoRA，創(chuàng)新性提出了非對稱LoRA架構，分別處理不同的任務，避免干擾，實現(xiàn)了參數(shù)效率與模型性能的雙重突破！

為了幫助大家掌握大模型頂會微調方法，研夢非凡于1月21日晚（周二），邀請了頂刊審稿人楊導師，獨家講解《HydraLoRA：超越LoRA！大模型微調效率巔峰！》（AI前沿直播課NO.93），從大模型參數(shù)微調（PEFT），到LoRA及相關變體及困境，重點講解頂會方法HydraLoRA架構、實驗，代碼演示微調過程，1節(jié)課速通創(chuàng)新Adapter參數(shù)高效微調方法，get論文改進和實戰(zhàn)知識點！

掃描二維碼找助教0元預約直播課！

凡預約即可領取130篇精選論文（30篇LoRA最新論文&代碼&頂會方法+100篇大模型必讀）

1月21日直播課內容概覽 01 研究背景及相關工作

1. 關注問題

a.LoRA的特點及使用方法

b.LoRA及其變種工作

c.LoRA目前的困境

d.動機觀察

1. HydraLoRA創(chuàng)新點凝練

a.非對稱結構的參數(shù)微調方法

b.彌補與全參數(shù)微調的差距

02 HydraLoRA算法框架（重點）

a.非對稱的LoRA結構設計

b.HydraLoRA的工作流程

c.微調過程

d.推理過程

03 實驗要點

a.實驗配置

b.主實驗分析

c.消融實驗分析

d.討論

04 能力提升（重點）

a.高效的參數(shù)微調方法

b.結合硬件化的微調技術

掃描二維碼找助教0元預約直播課！

凡預約即領130篇精選論文（30篇LoRA最新論文&代碼&頂會方法+100篇大模型必讀）

直播課導師介紹

楊 導 師

世界top10大學計算機科學畢業(yè)博士

博士研究方向為計算機視覺，自然語言處理，高效的深度學習訓練和推理方法，大語言模型輕量化與高效微調技術。

多家公司擔任算法研究員，并進行計算機視覺，高效模型壓縮算法，多模態(tài)大語言模型的研究，包括模型量化，剪枝，蒸餾，編譯以及高效稀疏化訓練與推理。

【科研成果】在國際頂級會議CVPR,ICCV, EMNLP等發(fā)表13篇論文，并擔任CVPR,ICCV,ECCV,ICML,ICLR, NeurIPS等重要會議和期刊的審稿人。

多項發(fā)明專利，指導學生有耐心，教學嚴謹，思維邏輯縝密，已經指導數(shù)十篇論文。對于成果好的學生，幫助學生寫推薦信和指導申請碩/博申請。

【招收學生方向】計算機視覺，自然語言處理，高效模型壓縮算法，多模態(tài)大語言模型，包括模型量化，剪枝，蒸餾，編譯以及高效稀疏化訓練與推理，深度學習全棧研究。

掃描二維碼找助教0元預約直播課！

凡預約即領130篇精選論文（30篇LoRA最新論文&代碼&頂會方法+100篇大模型必讀）

研夢非凡科研論文指導服務

idea并不是直接拍腦門拍出來的，是一遍一遍實驗、跑代碼、改模型、思路修正的過程中產生的。研夢非凡1V1定制化論文指導，和研夢導師一起找idea，研夢導師指導實驗，共同解決數(shù)據(jù)問題。授之以漁——搭建論文寫作框架，增刪改查，針對性實驗指導！哪里薄弱補哪里！

<<< 左右滑動見更多 >>>

全程1v1論文輔導掃碼咨詢助教

研夢非凡導師團隊

研夢非凡的導師來自海外QStop50、國內華五、C9、985高校的教授/博士導師/博士后，世界500強公司算法工程師，以及國內外知名人工智能實驗室研究員。

這是一支實力強大的高學歷導師團隊，在計算機科學、機器學習、深度學習等領域，積累了豐富的科研經歷，研究成果也發(fā)表在國際各大頂級會議和期刊上，在指導學員的過程中，全程秉持初心，堅持手把手個性化帶教。包括但不限于以下導師～～

<<< 左右滑動見更多 >>>

掃碼加助教為你匹配合適課題的大牛導師

AI尖端課題組

我們不是小作坊哦～我們背靠研途考研（就是張雪峰老師和徐濤老師在的那個研途考研），做教育十余年，重交付，重口碑，是我們一貫的公司理念！