本期為TechBeat人工智能社區第692期線上Talk。

北京時間6月18日(周三)20:00，北京通用人工智能研究院高級研究工程師吳桐的Talk將準時在TechBeat人工智能社區開播！

他與大家分享的主題是:“突破長文本理解與加速 - CREAM 與 TokenSwift 解密”，屆時他將分享兩項最新研究成果——CREAM 和 TokenSwift。相關工已入選 ICML 2025。

Talk·信息

主題：突破長文本理解與加速 - CREAM 與 TokenSwift 解密

嘉賓：北京通用人工智能研究院 · 高級研究工程師 - 吳桐

時間：北京時間6月18日(周三)20:00

地點：TechBeat人工智能社區

http://www.techbeat.net/

Talk·介紹

隨著大語言模型的快速發展，如何高效處理長上下文與生成超長文本成為關鍵挑戰。本次分享聚焦兩項最新研究成果——CREAM 和 TokenSwift，前者以輕量方式擴展模型上下文窗口至 256K，緩解“丟失中間信息”難題；后者則首次實現100K token的無損高速生成，將推理時間從5小時縮短至90分鐘。兩項成果均在主流大模型上取得顯著提升，理論與實踐價值兼具。

Talk大綱

1. 背景導入

大語言模型的上下文擴展與長文本生成需求

現有方法面臨的挑戰：精度、效率、訓練成本等

2. CREAM：中間聚焦的上下文擴展新范式

Positional Encoding 的關鍵瓶頸 Continuity-Relativity indExing with gAussian Middle

架構解析 如何僅用短窗口訓練，實現256K長度泛化 在 Lost-in-the-Middle 和 LongBench 等任務的實證效果

3. TokenSwift：超長文本生成的極速引擎

超長生成中的三大挑戰：重載開銷、KV管理、重復內容

Draft-Verify 框架與 Tree-based Attention

動態 KV 緩存與 n-gram 重用策略

多模型、不同長度下的加速與保真實測

4. 總結與展望

兩項工作的共通互補性

對未來長上下文模型部署的啟發

Talk·預習資料

論文鏈接： https://arxiv.org/abs/2406.07138 代碼鏈接： https://github.com/bigai-nlco/CREAM

論文鏈接： https://arxiv.org/abs/2502.18890 代碼鏈接： https://github.com/bigai-nlco/TokenSwift

Talk·提問交流

在Talk界面下的【交流區】參與互動！留下你的打call和問題，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻，我們都會給予你相應的i豆積分，還會有驚喜獎勵哦！

Talk·嘉賓介紹

吳桐???????????

北京通用人工智能研究院 · 高級研究工程師???

吳桐，畢業于清華大學計算機技術專業，獲碩士學位；畢業于北京理工大學計算機科學與技術專業，獲學士學位。曾在X-Tech、XiZi、商湯科技、IDEA、微軟亞洲研究院 (MSRA)、Deepseek和BIGAI實習。我在NeurIPS、ICML、CVPR等國際頂級人工智能會議上發表過多篇論文。

個人主頁: https://www.techbeat.net/grzytrkj?id=45010 ????

-The End-

如果你也想成為講者

自薦 / 推薦

單人Talk | 團隊專場 | 錄播or直播 | 閉門交流

多種方式任你選擇！

推薦講者成功也有獎勵哦~

關于TechBeat人工智能社區

TechBeat(www.techbeat.net)隸屬于將門創投，是一個薈聚全球華人AI精英的成長社區。

我們希望為AI人才打造更專業的服務和體驗，加速并陪伴其學習成長。

期待這里可以成為你學習AI前沿知識的高地，分享自己最新工作的沃土，在AI進階之路上的升級打怪的根據地！

更多詳細介紹>>

預約本期Talk