本期為TechBeat人工智能社區第691期線上Talk。

北京時間6月12日(周四)20:00，香港大學博士生蘇弘錦的Talk將準時在TechBeat人工智能社區開播！

他與大家分享的主題是:“BRIGHT - 衡量真實場景下的復雜檢索”，屆時他將介紹首個需要進行深度推理的文本檢索基準BRIGHT。

Talk·信息

主題：BRIGHT - 衡量真實場景下的復雜檢索

嘉賓：香港大學 · 博士生 - 蘇弘錦

時間：北京時間6月12日(周四)20:00

地點：TechBeat人工智能社區

http://www.techbeat.net/

Talk·介紹

現有的檢索基準主要由信息類查詢組成（例如，來自搜索引擎的聚合問題），在這些任務中，關鍵詞或語義檢索通常已足夠。然而，在許多復雜的現實世界查詢中，需要深入推理才能識別出相關文檔，而不僅僅是表面形式上的匹配。例如，在查找編碼問題的相關文檔時，需要理解所涉及函數的邏輯和語法。

為了更好地評估這類復雜查詢下的檢索效果，我們推出了 BRIGHT ——這是首個需要進行深度推理的文本檢索基準。 我們的數據集包含了 1,384 個來自真實世界的查詢，涵蓋多個領域，如經濟學、心理學、數學和編程等。這些查詢來自于自然發生并經過精心整理的人類數據。

大量實驗表明，即使是當前最先進的檢索模型在 BRIGHT 上的表現也并不理想。例如，在 MTEB 榜單上表現最佳的模型 SFR-Embedding-Mistral，在MTEB獲得了 59.0 的 nDCG@10 分數，但在 BRIGHT 上僅取得了 18.3 的 nDCG@10 分數。 我們進一步展示了，通過在檢索過程中引入對查詢的顯式推理，檢索性能最多可提升 12.2 個百分點。

此外，將表現最佳的檢索器所返回的文檔用于問答系統，也能顯著提升問答任務的效果。我們相信，BRIGHT 將為未來在更真實且更具挑戰性的場景下研究檢索系統提供新的方向。

Talk大綱

1. 檢索基準的現狀

2. BRIGHT的區別與必要性

3. 數據搜集辦法

4. 測試結果

5. 實驗分析

Talk·預習資料

論文鏈接： https://arxiv.org/abs/2407.12883 項目主頁： https://brightbenchmark.github.io/

Talk·提問交流

在Talk界面下的【交流區】參與互動！留下你的打call和問題，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻，我們都會給予你相應的i豆積分，還會有驚喜獎勵哦！

Talk·嘉賓介紹

蘇弘錦???????????

香港大學 · 博士生???

蘇弘錦是香港大學自然語言處理組的三年級博士生，師從余濤教授，自 2022 年起專注于自然語言處理領域的研究 。他的研究方向涵蓋智能體數據合成、生成模型優化及推理能力評估，曾參與提出 "Learn-by-interact" 框架，通過自主交互生成高質量訓練數據，為多模態智能體研究奠定基礎 。此外，他在指令調優（Generative Representational Instruction Tuning）和推理基準（如 BRIGHT）方面取得重要成果，相關工作發表于 ICLR 等頂級會議 。其學術影響力顯著，Google Scholar 引用次數已超 1000 次

個人主頁: https://www.techbeat.net/grzytrkj?id=45022 ????

-The End-

如果你也想成為講者

自薦 / 推薦

單人Talk | 團隊專場 | 錄播or直播 | 閉門交流

多種方式任你選擇！

推薦講者成功也有獎勵哦~

關于TechBeat人工智能社區

TechBeat(www.techbeat.net)隸屬于將門創投，是一個薈聚全球華人AI精英的成長社區。

我們希望為AI人才打造更專業的服務和體驗，加速并陪伴其學習成長。

期待這里可以成為你學習AI前沿知識的高地，分享自己最新工作的沃土，在AI進階之路上的升級打怪的根據地！

更多詳細介紹>>

預約本期Talk