論文作者來自認(rèn)知智能全國重點(diǎn)實(shí)驗(yàn)室陳恩紅團(tuán)隊(duì)，華為諾亞方舟實(shí)驗(yàn)室

在信息爆炸的時(shí)代，推薦系統(tǒng)已成為我們獲取資訊、商品和服務(wù)的核心入口。無論是電商平臺的 “猜你喜歡”，還是內(nèi)容應(yīng)用的信息流，背后都離不開推薦算法的默默耕耘。然而，傳統(tǒng)的推薦系統(tǒng)普遍采用多階段范式（如召回、排序），這種設(shè)計(jì)雖然在工程上實(shí)現(xiàn)了效率，卻常常面臨階段間信息損失、性能瓶頸等問題。近年來，生成式人工智能的浪潮席卷全球，其強(qiáng)大的序列建模和內(nèi)容生成能力為解決推薦系統(tǒng)的固有難題帶來了新的曙光。如果能將推薦過程中的多個(gè)階段融為一體，是否就能克服信息損失，實(shí)現(xiàn)更高效、更精準(zhǔn)的推薦呢？

來自中國科學(xué)技術(shù)大學(xué)和華為諾亞方舟實(shí)驗(yàn)室的研究者們，在即將于 SIGIR 2025 會議上進(jìn)行口頭報(bào)告（Oral Presentation）的論文 Killing Two Birds with One Stone: Unifying Retrieval and Ranking with a Single Generative Recommendation Model 中，給出了一份創(chuàng)新的答案。他們提出了一個(gè)名為 UniGRF 的統(tǒng)一生成式推薦框架，巧妙地實(shí)現(xiàn)了 “一石二鳥”，用單個(gè)生成模型同時(shí)處理推薦系統(tǒng)中的召回和排序兩大核心任務(wù)。

• 論文標(biāo)題：Killing Two Birds with One Stone: Unifying Retrieval and Ranking with a Single Generative Recommendation Model
• 論文鏈接:
• https://arxiv.org/abs/2504.16454

一、傳統(tǒng)推薦范式的 “痛點(diǎn)” 與生成式 AI 的 “良方”

在工業(yè)界廣泛應(yīng)用的推薦系統(tǒng)中，通常首先通過召回階段從海量物品庫中快速篩選出一個(gè)較小的候選集，然后由排序階段對這些候選物品進(jìn)行精準(zhǔn)打分和排序，最終呈現(xiàn)給用戶。這種分而治之的多階段級聯(lián)模式保證了效率，但每個(gè)階段獨(dú)立訓(xùn)練和優(yōu)化，上一階段的豐富信息難以完整傳遞給下一階段，信息繭房外的潛在興趣點(diǎn)被過早過濾，造成了信息損失、偏差累積、階段間難協(xié)作等固有問題。

受大語言模型（LLMs）在多任務(wù)處理上取得巨大成功的啟發(fā)，UniGRF 創(chuàng)新性地將召回和排序整合到一個(gè)生成模型中，實(shí)現(xiàn)了信息的充分共享，同時(shí)保持了模型的通用性和可擴(kuò)展性。

二、突破傳統(tǒng)：如何用一個(gè)模型 “殺死兩只鳥”？

UniGRF 的核心思想是將檢索和排序兩個(gè)階段的任務(wù)都統(tǒng)一轉(zhuǎn)化為序列生成任務(wù)，并整合到同一個(gè)自回歸生成模型中。具體來說，模型通過學(xué)習(xí)用戶歷史交互序列（物品 ID 序列、行為類型序列等），在生成輸出序列時(shí)，特定位置的輸出分別對應(yīng)召回任務(wù)（預(yù)測下一個(gè)交互物品）和排序任務(wù)（預(yù)測當(dāng)前物品的點(diǎn)擊概率）。

這種統(tǒng)一框架帶來了諸多優(yōu)勢：

1. 充分信息共享：由于參數(shù)在單一模型內(nèi)共享，檢索和排序任務(wù)可以充分利用彼此的信息，有效減少信息損失。

2. 模型無關(guān)性與即插即用：UniGRF 是一個(gè)靈活的框架，可以與各種主流的自回歸生成模型架構(gòu)（如 HSTU、Llama 等）無縫集成。

3. 潛在的效率提升：相比于維護(hù)兩個(gè)獨(dú)立的模型，單一模型在訓(xùn)練和推理上可能更具效率優(yōu)勢。

三、UniGRF 的兩大 “秘密武器”

僅僅將兩個(gè)任務(wù)放在一個(gè)模型里還不夠，如何讓它們高效協(xié)作并同步優(yōu)化，是 UniGRF 成功的關(guān)鍵。為此，研究者設(shè)計(jì)了兩大核心模塊：

1. 排序驅(qū)動的增強(qiáng)器 (Ranking-Driven Enhancer)：

這個(gè)模塊旨在促進(jìn)召回和排序兩個(gè)階段之間的高效協(xié)作。一般來說，排序階段通常能更精準(zhǔn)地捕捉用戶細(xì)粒度的偏好。該增強(qiáng)器巧妙地利用排序階段的高精度輸出來指導(dǎo)和優(yōu)化召回階段。

• 難樣本挖掘：識別那些在召回階段被高估但兩個(gè)階段存在分歧的樣本，將它們作為更具挑戰(zhàn)性的負(fù)樣本反饋給模型，提升模型的辨別能力。
• 潛在正樣本識別：識別那些在負(fù)采樣中被錯(cuò)誤標(biāo)記，但排序模型認(rèn)為用戶可能喜歡的樣本，糾正其標(biāo)簽，為模型提供更準(zhǔn)確的訓(xùn)練信號。

通過這種方式，形成了一個(gè)互相促進(jìn)的增強(qiáng)閉環(huán)，并且這一切幾乎不增加額外的計(jì)算開銷。

2. 梯度引導(dǎo)的自適應(yīng)加權(quán)器 (Gradient-Guided Adaptive Weighter)：

在統(tǒng)一框架下，召回和排序兩個(gè)任務(wù)的損失函數(shù)、收斂速度可能存在顯著差異。如果簡單地將兩者損失相加，可能會導(dǎo)致模型在優(yōu)化過程中厚此薄彼。該加權(quán)器通過實(shí)時(shí)監(jiān)測兩個(gè)任務(wù)梯度的變化率（即學(xué)習(xí)速度），動態(tài)地調(diào)整它們在總損失函數(shù)中的權(quán)重。如果一個(gè)任務(wù)學(xué)習(xí)較慢，就適當(dāng)增加其權(quán)重，反之亦然。這確保了兩個(gè)任務(wù)能夠以協(xié)同的步伐前進(jìn)，實(shí)現(xiàn)同步優(yōu)化，最終達(dá)到整體性能的最優(yōu)。

四、實(shí)驗(yàn)效果：顯著超越SOTA，驗(yàn)證統(tǒng)一框架威力

為了驗(yàn)證 UniGRF 的有效性，研究團(tuán)隊(duì)在三個(gè)公開的大型推薦數(shù)據(jù)集（MovieLens-1M, MovieLens-20M, Amazon-Books）上進(jìn)行了大量實(shí)驗(yàn)。結(jié)果表明：

• 全面領(lǐng)先：無論是以 HSTU 還是 Llama 作為基礎(chǔ)生成模型，UniGRF 在召回和排序兩個(gè)任務(wù)上的性能均顯著優(yōu)于現(xiàn)有的 SOTA 基線模型，包括那些為單一任務(wù)設(shè)計(jì)的強(qiáng)大生成模型以及傳統(tǒng)的級聯(lián)框架。
• 排序性能提升尤為顯著：實(shí)驗(yàn)發(fā)現(xiàn)，UniGRF 對排序階段的性能提升更為明顯。這對于實(shí)際應(yīng)用更為重要，因?yàn)榕判蚪Y(jié)果直接決定了最終呈現(xiàn)給用戶的推薦質(zhì)量。
• 良好的可擴(kuò)展性：實(shí)驗(yàn)還初步驗(yàn)證了 UniGRF 在模型參數(shù)擴(kuò)展時(shí)的性能提升潛力，符合 “越大越好” 的縮放定律（Scaling Law）。

值得一提的是，傳統(tǒng)的級聯(lián)框架在適配生成式模型時(shí)表現(xiàn)不佳，甚至可能產(chǎn)生負(fù)面效果，這反過來凸顯了 UniGRF 這種原生統(tǒng)一框架的優(yōu)越性。

五、總結(jié)與展望

UniGRF 的提出，為生成式推薦系統(tǒng)領(lǐng)域貢獻(xiàn)了一個(gè)新穎且高效的解決方案。它首次探索了在單一生成模型內(nèi)統(tǒng)一召回與排序任務(wù)的可行性與巨大潛力，通過精心設(shè)計(jì)的協(xié)作與優(yōu)化機(jī)制，有效克服了傳統(tǒng)多階段范式的信息損失問題。

這項(xiàng)工作不僅為學(xué)術(shù)界提供了新的研究視角，也為工業(yè)界構(gòu)建更強(qiáng)大、更高效的推薦系統(tǒng)提供了有益的借鑒。未來，研究者們計(jì)劃將該框架擴(kuò)展到更多的推薦階段（如預(yù)排序、重排），并在真實(shí)的工業(yè)場景中驗(yàn)證其大規(guī)模應(yīng)用的可行性。