論文作者來自認知智能全國重點實驗室陳恩紅團隊,華為諾亞方舟實驗室
在信息爆炸的時代,推薦系統已成為我們獲取資訊、商品和服務的核心入口。無論是電商平臺的 “猜你喜歡”,還是內容應用的信息流,背后都離不開推薦算法的默默耕耘。然而,傳統的推薦系統普遍采用多階段范式(如召回、排序),這種設計雖然在工程上實現了效率,卻常常面臨階段間信息損失、性能瓶頸等問題。近年來,生成式人工智能的浪潮席卷全球,其強大的序列建模和內容生成能力為解決推薦系統的固有難題帶來了新的曙光。如果能將推薦過程中的多個階段融為一體,是否就能克服信息損失,實現更高效、更精準的推薦呢?
來自中國科學技術大學和華為諾亞方舟實驗室的研究者們,在即將于 SIGIR 2025 會議上進行口頭報告(Oral Presentation)的論文 Killing Two Birds with One Stone: Unifying Retrieval and Ranking with a Single Generative Recommendation Model 中,給出了一份創新的答案。他們提出了一個名為 UniGRF 的統一生成式推薦框架,巧妙地實現了 “一石二鳥”,用單個生成模型同時處理推薦系統中的召回和排序兩大核心任務。
- 論文標題:Killing Two Birds with One Stone: Unifying Retrieval and Ranking with a Single Generative Recommendation Model
- 論文鏈接:
- https://arxiv.org/abs/2504.16454
一、傳統推薦范式的 “痛點” 與生成式 AI 的 “良方”
在工業界廣泛應用的推薦系統中,通常首先通過召回階段從海量物品庫中快速篩選出一個較小的候選集,然后由排序階段對這些候選物品進行精準打分和排序,最終呈現給用戶。這種分而治之的多階段級聯模式保證了效率,但每個階段獨立訓練和優化,上一階段的豐富信息難以完整傳遞給下一階段,信息繭房外的潛在興趣點被過早過濾,造成了信息損失、偏差累積、階段間難協作等固有問題。
受大語言模型(LLMs)在多任務處理上取得巨大成功的啟發,UniGRF 創新性地將召回和排序整合到一個生成模型中,實現了信息的充分共享,同時保持了模型的通用性和可擴展性。
二、突破傳統:如何用一個模型 “殺死兩只鳥”?
UniGRF 的核心思想是將檢索和排序兩個階段的任務都統一轉化為序列生成任務,并整合到同一個自回歸生成模型中。具體來說,模型通過學習用戶歷史交互序列(物品 ID 序列、行為類型序列等),在生成輸出序列時,特定位置的輸出分別對應召回任務(預測下一個交互物品)和排序任務(預測當前物品的點擊概率)。
這種統一框架帶來了諸多優勢:
1. 充分信息共享:由于參數在單一模型內共享,檢索和排序任務可以充分利用彼此的信息,有效減少信息損失。
2. 模型無關性與即插即用:UniGRF 是一個靈活的框架,可以與各種主流的自回歸生成模型架構(如 HSTU、Llama 等)無縫集成。
3. 潛在的效率提升:相比于維護兩個獨立的模型,單一模型在訓練和推理上可能更具效率優勢。
三、UniGRF 的兩大 “秘密武器”
僅僅將兩個任務放在一個模型里還不夠,如何讓它們高效協作并同步優化,是 UniGRF 成功的關鍵。為此,研究者設計了兩大核心模塊:
1. 排序驅動的增強器 (Ranking-Driven Enhancer):
這個模塊旨在促進召回和排序兩個階段之間的高效協作。一般來說,排序階段通常能更精準地捕捉用戶細粒度的偏好。該增強器巧妙地利用排序階段的高精度輸出來指導和優化召回階段。
- 難樣本挖掘:識別那些在召回階段被高估但兩個階段存在分歧的樣本,將它們作為更具挑戰性的負樣本反饋給模型,提升模型的辨別能力。
- 潛在正樣本識別:識別那些在負采樣中被錯誤標記,但排序模型認為用戶可能喜歡的樣本,糾正其標簽,為模型提供更準確的訓練信號。
通過這種方式,形成了一個互相促進的增強閉環,并且這一切幾乎不增加額外的計算開銷。
2. 梯度引導的自適應加權器 (Gradient-Guided Adaptive Weighter):
在統一框架下,召回和排序兩個任務的損失函數、收斂速度可能存在顯著差異。如果簡單地將兩者損失相加,可能會導致模型在優化過程中厚此薄彼。該加權器通過實時監測兩個任務梯度的變化率(即學習速度),動態地調整它們在總損失函數中的權重。如果一個任務學習較慢,就適當增加其權重,反之亦然。這確保了兩個任務能夠以協同的步伐前進,實現同步優化,最終達到整體性能的最優。
四、實驗效果:顯著超越SOTA,驗證統一框架威力
為了驗證 UniGRF 的有效性,研究團隊在三個公開的大型推薦數據集(MovieLens-1M, MovieLens-20M, Amazon-Books)上進行了大量實驗。結果表明:
- 全面領先:無論是以 HSTU 還是 Llama 作為基礎生成模型,UniGRF 在召回和排序兩個任務上的性能均顯著優于現有的 SOTA 基線模型,包括那些為單一任務設計的強大生成模型以及傳統的級聯框架。
- 排序性能提升尤為顯著:實驗發現,UniGRF 對排序階段的性能提升更為明顯。這對于實際應用更為重要,因為排序結果直接決定了最終呈現給用戶的推薦質量。
- 良好的可擴展性:實驗還初步驗證了 UniGRF 在模型參數擴展時的性能提升潛力,符合 “越大越好” 的縮放定律(Scaling Law)。
值得一提的是,傳統的級聯框架在適配生成式模型時表現不佳,甚至可能產生負面效果,這反過來凸顯了 UniGRF 這種原生統一框架的優越性。
五、總結與展望
UniGRF 的提出,為生成式推薦系統領域貢獻了一個新穎且高效的解決方案。它首次探索了在單一生成模型內統一召回與排序任務的可行性與巨大潛力,通過精心設計的協作與優化機制,有效克服了傳統多階段范式的信息損失問題。
這項工作不僅為學術界提供了新的研究視角,也為工業界構建更強大、更高效的推薦系統提供了有益的借鑒。未來,研究者們計劃將該框架擴展到更多的推薦階段(如預排序、重排),并在真實的工業場景中驗證其大規模應用的可行性。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.