本期為TechBeat人工智能社區(qū)第695期線上Talk。

北京時間6月26日(周四)20:00，香港中文大學博士生龔施展的Talk將準時在TechBeat人工智能社區(qū)開播！

他與大家分享的主題是:“一種提升CLIP視覺可解釋性的對抗精調方法”，屆時他將介紹一種無監(jiān)督對抗性微調（AFT）方法，通過范數正則化顯著增強了CLIP的視覺可解釋性。

Talk·信息

主題：一種提升CLIP視覺可解釋性的對抗精調方法

嘉賓：香港中文大學 · 博士生 - 龔施展

時間：北京時間6月26日(周四)20:00

地點：TechBeat人工智能社區(qū)

http://www.techbeat.net/

Talk·介紹

在當今多模態(tài)模型快速發(fā)展的背景下，CLIP作為一種視覺表征學習的關鍵技術，在許多大規(guī)模模型（如LLaVA）中扮演了重要角色。然而，其復雜的圖像編碼器架構和訓練過程導致的可解釋性不足，限制了其在高風險決策應用中的廣泛使用。在我的研究中，我們提出了無監(jiān)督對抗性微調（AFT）方法，通過范數正則化顯著增強了CLIP的視覺可解釋性。理論分析表明，AFT能夠通過隱式正則化使圖像編碼器專注于稀疏而有意義的特征。實驗結果表明，該方法不僅提升了CLIP的可解釋性，還能推廣至分布外數據和下游任務，展示了廣泛的適用性和潛力。

Talk大綱

1. 背景：CLIP模型在很多任務上取得了較好的表現

2. 動機與問題：現有的CLIP模型缺乏可解釋性，已有的可解釋性方法不能很好遷移到下游任務

3. 解決方法：提出一種對抗精調框架，使得精調后的CLIP模型更具有視覺可解釋性

4. 總結：討論一些潛在的擴展

Talk·預習資料

論文鏈接： https://openreview.net/forum?id=khuIvzxPRp 代碼鏈接： https://github.com/peterant330/CLIP_AFT

Talk·提問交流

在Talk界面下的【交流區(qū)】參與互動！留下你的打call和問題，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻，我們都會給予你相應的i豆積分，還會有驚喜獎勵哦！

Talk·嘉賓介紹

龔施展???????????

香港中文大學 · 博士生???

龔施展，目前是香港中文大學的在讀博士生。主要研究方向為多模態(tài)學習，可信人工智能和醫(yī)學影像分析。目前已經在ICML、ICLR、CVPR、TMI等會議和期刊上發(fā)表多篇論文。

個人主頁: https://www.techbeat.net/grzytrkj?id=45068 ????

-The End-

如果你也想成為講者

自薦 / 推薦

單人Talk | 團隊專場 | 錄播or直播 | 閉門交流

多種方式任你選擇！

推薦講者成功也有獎勵哦~

關于TechBeat人工智能社區(qū)

TechBeat(www.techbeat.net)隸屬于將門創(chuàng)投，是一個薈聚全球華人AI精英的成長社區(qū)。

我們希望為AI人才打造更專業(yè)的服務和體驗，加速并陪伴其學習成長。

期待這里可以成為你學習AI前沿知識的高地，分享自己最新工作的沃土，在AI進階之路上的升級打怪的根據地！

更多詳細介紹>>

預約本期Talk