演講嘉賓｜張澤華

編輯 ｜李忠良

策劃 ｜AICon 全球人工智能開(kāi)發(fā)與應(yīng)用大會(huì)

在京東廣告的大模型應(yīng)用架構(gòu)中，召回環(huán)節(jié)至關(guān)重要。傳統(tǒng)召回方式在規(guī)則靈活性和用戶(hù)需求捕捉上存在局限，而大模型帶來(lái)了新的契機(jī)，但也面臨訓(xùn)練成本和隱私保護(hù)的挑戰(zhàn)。京東廣告的生成式召回體系包括：基于世界知識(shí)和電商平臺(tái)的數(shù)據(jù)體系、多模態(tài)商品內(nèi)容理解與用戶(hù)意圖識(shí)別，以及高效的生成式模型訓(xùn)練和推理架構(gòu)。在實(shí)踐中，通過(guò)商品內(nèi)容語(yǔ)義量化、生成式商品解碼召回和模型推理性能優(yōu)化，顯著提升了召回效率。

在 InfoQ 舉辦的 AICon 全球人工智能開(kāi)發(fā)與應(yīng)用大會(huì)上京東算法總監(jiān)張澤華做了專(zhuān)題演講“京東廣告大模型應(yīng)用架構(gòu)實(shí)踐”，演講將分享京東廣告在大模型應(yīng)用實(shí)踐中的解決思路與經(jīng)驗(yàn)教訓(xùn)，期待為廣告技術(shù)從業(yè)者帶來(lái)啟發(fā)。

內(nèi)容亮點(diǎn)

• 了解具備普適性的生成式推薦算法大規(guī)模應(yīng)用方法，并借鑒推理優(yōu)化和業(yè)務(wù)優(yōu)化的示范性實(shí)踐，提升自身推薦系統(tǒng)的效果和效率

以下是演講實(shí)錄（經(jīng) InfoQ 進(jìn)行不改變?cè)獾木庉嬚恚?/strong>

大模型時(shí)代廣告領(lǐng)域發(fā)展的契機(jī)和挑戰(zhàn)

京東在過(guò)去一段時(shí)間里，在大模型浪潮下進(jìn)行了諸多探索和實(shí)踐，涉及算法和工程方面。

回顧過(guò)去一年半行業(yè)趨勢(shì)，國(guó)內(nèi)大部分廣告平臺(tái)都大力投入到基于大語(yǔ)言模型或生成式技術(shù)相關(guān)的產(chǎn)品及技術(shù)升級(jí)，涵蓋 B 端和 C 端產(chǎn)品。大模型落地實(shí)踐剛開(kāi)始時(shí)較為分散，但逐漸出現(xiàn)收斂趨勢(shì)，主要體現(xiàn)在訓(xùn)練和推理方面。同時(shí)，工業(yè)級(jí)別應(yīng)用層面的范式也在逐步收斂。

在電商領(lǐng)域存在一些痛點(diǎn)，如知識(shí)融合問(wèn)題，傳統(tǒng)推薦系統(tǒng)難以有效容納場(chǎng)景化知識(shí)，需外掛大量詞表信息及業(yè)務(wù)自反饋信息。而大語(yǔ)言模型時(shí)代到來(lái)后，對(duì)電商用戶(hù)和商品的理解能力可在大模型加持下得到提升。此外，基于大語(yǔ)言模型或生成式技術(shù)的 scaling law（擴(kuò)展定律）讓廣告算法系統(tǒng)煥發(fā)生機(jī)。

產(chǎn)業(yè)界使用大語(yǔ)言模型主要有三大目標(biāo)：一是大幅提升人貨匹配效率，尤其在搜索、推薦等核心鏈路模型中，通過(guò)提升人貨匹配效率帶動(dòng) CTR（點(diǎn)擊通過(guò)率）、CVR（轉(zhuǎn)化率）、GMV（商品交易總額）及廣告收入等核心業(yè)務(wù)指標(biāo)上漲；二是借助其知識(shí)理解和融合能力；三是滿(mǎn)足多模態(tài)信息接納需求，發(fā)揮大語(yǔ)言模型在文字、視頻、語(yǔ)音、圖片等多種模態(tài)下的理解能力。

京東希望找到一種在應(yīng)用級(jí)別、一定時(shí)間內(nèi)具有 scaling law 趨勢(shì)的算法演進(jìn)路線，且該路線能適用于較多場(chǎng)景，同時(shí)以低成本獲取高性能。

生成式算法體系

在典型的廣告算法體系中，生成式技術(shù)主要作用于以下場(chǎng)景。從經(jīng)典廣告系統(tǒng)的鏈路來(lái)看，從生成式的角度可以劃分為三個(gè)階段：第一個(gè)階段是召回和粗排階段，這本質(zhì)上是一個(gè)信息檢索類(lèi)問(wèn)題。其核心是如何“無(wú)中生有”，從海量信息中找出對(duì)用戶(hù)可能有用或感興趣的信息，形成一個(gè)龐大的候選集合。第二階段是精排階段。CTR（點(diǎn)擊通過(guò)率）和 CVR（轉(zhuǎn)化率）是典型的精排問(wèn)題。精排模型打出的分?jǐn)?shù)常用于排序，本質(zhì)上是在進(jìn)行信息過(guò)濾，篩選出更符合用戶(hù)需求的內(nèi)容。第三階段是信息補(bǔ)足階段。對(duì)于已經(jīng)排在較前位置的商品或信息流廣告，進(jìn)一步引入多模態(tài)理解能力，包括創(chuàng)意和排序機(jī)制的優(yōu)化，即重排。重排可以視為在上下文場(chǎng)景下的二次排序，進(jìn)一步提升廣告效果。

在討論生成式技術(shù)或大語(yǔ)言模型時(shí)，離不開(kāi)其對(duì)應(yīng)的數(shù)據(jù)體系。數(shù)據(jù)體系需要解決兩個(gè)核心問(wèn)題：一是用戶(hù)行為如何在生成式技術(shù)浪潮中進(jìn)行二次定義；二是在電商廣告場(chǎng)景下，如何將知識(shí)融入生成式 AI 模型或算法中。

對(duì)于用戶(hù)行為，傳統(tǒng)上是通過(guò)人、貨、場(chǎng)三個(gè)維度進(jìn)行定義。在生成式場(chǎng)景下，除了這三個(gè)維度，還會(huì)包含用戶(hù)畫(huà)像類(lèi)信息。對(duì)于電商知識(shí)類(lèi)信息，除了商品、貨品等結(jié)構(gòu)化信息，還存在大量未被很好結(jié)構(gòu)化的信息，例如用戶(hù)隨手拍的評(píng)論圖片，其語(yǔ)義化信息尚未被充分利用。

在電商廣告場(chǎng)景下，經(jīng)過(guò)比較和分析，認(rèn)為 Semantic ID（語(yǔ)義 ID）是當(dāng)前場(chǎng)景下更適用的表征解決方案。在數(shù)據(jù)表征的基礎(chǔ)上，算法建設(shè)涉及幾個(gè)關(guān)鍵步驟。首先是商品的量化表示，通過(guò) Semantic ID 的方式進(jìn)行表征。其次是讓大語(yǔ)言模型或生成式算法對(duì)這些表征后的信息具備理解能力和推理能力。

關(guān)于編碼和表征，引用了一篇經(jīng)典文章的觀點(diǎn)，探討了 Sid 是如何通過(guò)類(lèi)似殘差信息的表達(dá)方式進(jìn)行表征的，這與 Google 的相關(guān)研究相對(duì)應(yīng)。即通過(guò)某種編碼的 code book 方式來(lái)表達(dá)信息。在將信息注入大語(yǔ)言模型（無(wú)論是開(kāi)源獲取的還是從零開(kāi)始訓(xùn)練的）時(shí)，面臨兩個(gè)關(guān)鍵問(wèn)題：一是這些數(shù)據(jù)如何訓(xùn)練；二是如何讓訓(xùn)練的數(shù)據(jù)有效表征其含義，即 DPO。

生成式算法工程實(shí)踐

我們來(lái)看一下在具體實(shí)踐中遇到的算法和工程上的挑戰(zhàn)。

首先，我們今天主要討論的環(huán)節(jié)是召回，但實(shí)際上我們的的工作已經(jīng)覆蓋了排序、創(chuàng)意甚至重排階段。在將生成式 AI 或大語(yǔ)言模型應(yīng)用于推薦系統(tǒng)時(shí)，我們遇到了兩個(gè)極具挑戰(zhàn)性的問(wèn)題。第一個(gè)挑戰(zhàn)是工業(yè)場(chǎng)景下的規(guī)模問(wèn)題。隨著業(yè)務(wù)的發(fā)展，模型的規(guī)模越來(lái)越大。在廣告系統(tǒng)中，延遲是一個(gè)關(guān)鍵問(wèn)題。如果推理延遲超過(guò) 100 毫秒，結(jié)果將不會(huì)被采納，被認(rèn)為是毫無(wú)意義的。為了實(shí)現(xiàn)高性能和低延遲的推理，我們需要付出巨大的計(jì)算成本，而我們希望這種成本越低越好。目前，許多大語(yǔ)言模型的工作是基于開(kāi)源模型進(jìn)行 SFT（監(jiān)督微調(diào)）或 PT（預(yù)訓(xùn)練）后直接使用。然而，隨著我們對(duì)業(yè)務(wù)的深入理解和算法應(yīng)用的靈活性提升，我們發(fā)現(xiàn)僅僅借用他人的模型結(jié)構(gòu)已經(jīng)無(wú)法滿(mǎn)足我們的需求。我們需要對(duì)模型結(jié)構(gòu)進(jìn)行改造，并且發(fā)現(xiàn)單純的生成式模型無(wú)法很好地解決判別型問(wèn)題。這意味著未來(lái)的應(yīng)用場(chǎng)景需要生成式和判別式模型進(jìn)行聯(lián)合學(xué)習(xí)和推理。

第二個(gè)挑戰(zhàn)是低延遲和高吞吐的要求。我們給出一個(gè)典型的參考數(shù)據(jù)：百萬(wàn) token 的推理成本必須低于 1 元人民幣。如果高于這個(gè)成本，在大多數(shù)工業(yè)場(chǎng)景下，成本將變得不可控，模型很可能只能停留在實(shí)驗(yàn)階段，無(wú)法大規(guī)模落地。這兩個(gè)挑戰(zhàn)共同導(dǎo)致了一個(gè)問(wèn)題：我們需要進(jìn)行極致的性能優(yōu)化，才能讓這樣的模型或算法真正在線應(yīng)用。

在進(jìn)行大規(guī)模工業(yè)化性能優(yōu)化時(shí)，我們發(fā)現(xiàn)算力或推理優(yōu)化主要由三個(gè)方面決定：首先是裸算力，其次是存儲(chǔ)性能或存儲(chǔ)吞吐量，第三是訓(xùn)練和推理過(guò)程中的 IO 問(wèn)題。這三者存在木桶短板效應(yīng)，即任何一個(gè)環(huán)節(jié)的短板都將決定我們?cè)趹?yīng)用中的性能上限。

針對(duì)低延遲和高吞吐的極致性能優(yōu)化，我們的優(yōu)化思路分為三個(gè)層面：首先是在單節(jié)點(diǎn)優(yōu)化上，我們希望實(shí)現(xiàn)極致的性能釋放；其次，當(dāng)任務(wù)變?yōu)榉植际綍r(shí)，我們希望實(shí)現(xiàn)軟硬協(xié)同的分布式高性能推理；最后，在整個(gè)全鏈路上，我們希望尋找其他可以?xún)?yōu)化的資源或耗時(shí)空間，例如層次化推理和同層次化算力的優(yōu)化。

在優(yōu)化手段方面，業(yè)內(nèi)已經(jīng)有許多相關(guān)工作，包括基于算子和圖的優(yōu)化、深度學(xué)習(xí)編譯器的優(yōu)化，以及推理模式的優(yōu)化，如各種緩存模式（KV Cache、Layer Cache 等）和推理范式的優(yōu)化（例如 PD 分離）。總結(jié)來(lái)說(shuō)，單節(jié)點(diǎn)上的推理算力釋放主要分為兩部分：一是單純的推理優(yōu)化，二是從服務(wù)層級(jí)進(jìn)行優(yōu)化。在單節(jié)點(diǎn)推理優(yōu)化方面，主要涉及量化、Tensor 并行和各種 Attention 技術(shù)；在服務(wù)層級(jí)優(yōu)化方面，主要關(guān)注調(diào)度層面，如連續(xù)批處理（continuous batch）和負(fù)載均衡。

單節(jié)點(diǎn)算力釋放

為了降低單節(jié)點(diǎn)推理的無(wú)用功計(jì)算，我們通常會(huì)采用一些優(yōu)化方式，例如多查詢(xún)（Multi-Query）注意力機(jī)制等。這些方法在業(yè)內(nèi)已經(jīng)被廣泛應(yīng)用，例如基于英偉達(dá) GPU 的解決方案，雖然在一定程度上有效，但仍然無(wú)法完全解決工業(yè)場(chǎng)景下的問(wèn)題。

在優(yōu)化手段方面，量化技術(shù)是一個(gè)重要的方向。從半精度到 FP8，甚至更低比特的量化技術(shù)，雖然在推理性能上追求極致，但在實(shí)際應(yīng)用場(chǎng)景中，如廣告推薦或搜索，過(guò)低的精度可能導(dǎo)致無(wú)法達(dá)到預(yù)期效果。Tensor 并行則是一種計(jì)算層面的資源分配優(yōu)化，通過(guò)將任務(wù)拆分，降低單卡負(fù)載，從而降低延遲并充分利用性能。

在注意力機(jī)制的優(yōu)化方面，F(xiàn)lash Attention 和 Page Attention 等技術(shù)已經(jīng)被廣泛應(yīng)用于開(kāi)源模型中。通過(guò)采用這些優(yōu)化手段，例如 batching 和注意力技術(shù)，可以顯著提升推理效率。公開(kāi)資料顯示，平均推理延遲可以降低到原來(lái)的 1/5 左右，吞吐量提升的同時(shí)，成本可以降低約一半。

特別地，我們推薦一種 batching 策略—— Dynamic Latency Batching Switch。傳統(tǒng)的 Continuous Batching 雖然可以填充推理過(guò)程中的空閑時(shí)間，但在低延遲場(chǎng)景下，簡(jiǎn)單地將任務(wù)插入到空閑位置可能會(huì)導(dǎo)致累積延遲超標(biāo)。動(dòng)態(tài)延遲 batching 的核心思想是，在保證每個(gè)推理請(qǐng)求不超過(guò)最大延遲的前提下，通過(guò)智能調(diào)度，將任務(wù)分配到更合適的批次中。例如，當(dāng)發(fā)現(xiàn)某條推理鏈路如果繼續(xù)插入任務(wù)會(huì)導(dǎo)致延遲超標(biāo)時(shí)，系統(tǒng)會(huì)將其切換到更早結(jié)束的批次，從而確保下一個(gè)任務(wù)可以更早進(jìn)入推理狀態(tài)。

分布式算力釋放

在分布式場(chǎng)景下，軟硬協(xié)同的優(yōu)化思路雖然簡(jiǎn)單，但在工業(yè)場(chǎng)景下的大規(guī)模實(shí)現(xiàn)具有挑戰(zhàn)性。由于請(qǐng)求的長(zhǎng)度（request length）不同，不同集群和節(jié)點(diǎn)的處理能力也各異。因此，我們傾向于將計(jì)算量大的任務(wù)分配到計(jì)算能力更強(qiáng)的節(jié)點(diǎn)上。然而，難點(diǎn)在于負(fù)載均衡。并非所有廣告或推薦請(qǐng)求的價(jià)值都相同，如果某次請(qǐng)求對(duì)系統(tǒng)的價(jià)值更高，我們會(huì)優(yōu)先處理。因此，在負(fù)載均衡策略上，我們會(huì)進(jìn)行基于請(qǐng)求價(jià)值的粗粒度預(yù)估，將高價(jià)值請(qǐng)求分配到專(zhuān)用計(jì)算節(jié)點(diǎn)上優(yōu)先處理，而低優(yōu)先級(jí)的請(qǐng)求可能會(huì)被拋棄或采用傳統(tǒng)算法和模型處理。

在調(diào)度層面之外，我們還嘗試了以下三項(xiàng)已被驗(yàn)證有價(jià)值的工作：

• 生成式推理集群：在集群層面，我們進(jìn)行了以下優(yōu)化：

• • 大模型的集群化推理；

  • 小批量（small batch）適配能力；

  • PD分離，prefill（預(yù)填充）和 decode（解碼）這是業(yè)內(nèi)常見(jiàn)的優(yōu)化手段。

• KV Cache 池化：許多企業(yè)希望減少計(jì)算資源的浪費(fèi)，同時(shí)保證計(jì)算精度和效果。KV Cache 池化是應(yīng)對(duì)集群化推理的有效解決方案，能夠避免從零開(kāi)始推理每條請(qǐng)求，從而提高效率。

• 判別式場(chǎng)景的集群化處理：在廣告場(chǎng)景中，無(wú)論是搜索還是推薦，結(jié)果的相關(guān)性是一個(gè)關(guān)鍵問(wèn)題。對(duì)于判別式任務(wù)，我們?cè)O(shè)置了單獨(dú)的集群進(jìn)行路由化處理。

為了實(shí)現(xiàn)集群化模型的分布式并行推理，我們采用了以下方法：

• 模型拆圖：將模型中的多個(gè) block（既有 CPU 計(jì)算密集型部分，也有 GPU 計(jì)算密集型部分）根據(jù)計(jì)算負(fù)荷和價(jià)值進(jìn)行拆分。拆圖后，將不同部分分別進(jìn)行服務(wù)化部署。通過(guò)這種方式，可以?xún)?yōu)化集群的計(jì)算資源利用率。拆圖前，由于模型塊的差異，集群的資源利用率存在較大差異；拆圖并并行計(jì)算后，利用率趨于平衡，避免了某些資源過(guò)度使用或浪費(fèi)。

• 多級(jí)緩存：針對(duì) IO 瓶頸問(wèn)題，我們利用 CPU 管理的 RAM 和 GPU 的 HBM（高帶寬存儲(chǔ)器）構(gòu)建了多級(jí)緩存。這種多級(jí)緩存減少了多機(jī)之間的通信，使系統(tǒng)能夠更快地獲取預(yù)計(jì)算結(jié)果，從而實(shí)現(xiàn)更低的延遲和更高的吞吐量。

在訓(xùn)練過(guò)程中，我們發(fā)現(xiàn)了一些有效的解決方案。對(duì)于更復(fù)雜的生成式 AI 訓(xùn)練（超出簡(jiǎn)單的大語(yǔ)言模型范疇），全參數(shù) GPU 同步訓(xùn)練在特定應(yīng)用場(chǎng)景下能夠顯著提升訓(xùn)練速度。

在分布式推理的調(diào)度器設(shè)計(jì)中，我們面臨的業(yè)務(wù)應(yīng)用場(chǎng)景不僅包括生成式算法模型，還涉及語(yǔ)義理解層面的相關(guān)性以及典型的排序任務(wù)（如 CTR、CVR 等）。這些任務(wù)通過(guò)不同層級(jí)的調(diào)度器進(jìn)行請(qǐng)求劃分和調(diào)度。

全鏈路算力釋放

為了維持低延遲和低資源消耗的推理，我們希望從其他環(huán)節(jié)“偷”一些資源或耗時(shí)空間。具體方法如下。

• 端計(jì)算與預(yù)計(jì)算：我們將相當(dāng)一部分計(jì)算下沉到用戶(hù)手機(jī)端（設(shè)備端），采用端計(jì)算模式進(jìn)行大量預(yù)計(jì)算工作。在用戶(hù)發(fā)起請(qǐng)求的瞬間，我們利用召回到排序之間的這段時(shí)間進(jìn)行前置計(jì)算，這部分耗時(shí)空間約為 30~100 毫秒，具體取決于不同業(yè)務(wù)場(chǎng)景。

• 近線計(jì)算：對(duì)于一些信息，我們只需要在一定時(shí)間內(nèi)保證其最新即可，因此可以通過(guò)近線計(jì)算的方式提前算好，然后在線上進(jìn)行查詢(xún)或直接使用。

• 離線計(jì)算：對(duì)于計(jì)算極其復(fù)雜且在較長(zhǎng)時(shí)間內(nèi)不會(huì)變化的任務(wù)，我們采用離線計(jì)算的方式。

通過(guò)以上層次化的劃分，結(jié)合軟硬件的定制化優(yōu)化，我們將原本 100 毫秒的計(jì)算延遲拆分為多個(gè)幾十毫秒的小塊，這些小塊已經(jīng)完成了預(yù)計(jì)算。因此，真正留給實(shí)時(shí)推理和計(jì)算的任務(wù)變得相對(duì)簡(jiǎn)單，從而能夠在百毫秒以?xún)?nèi)完成在線生成式 AI 的推理。進(jìn)一步地，我們是否可以更徹底地“偷”資源呢？答案是可以。在每個(gè)環(huán)節(jié)（如檢索、排序等）中，我們都可以利用層次化的算力設(shè)計(jì)和動(dòng)態(tài)協(xié)調(diào)機(jī)制，實(shí)現(xiàn)更加負(fù)載均衡的算力配置。

在整個(gè)算法和全鏈路設(shè)計(jì)中，貫穿了兩條核心思想：

• 重新定義算力邊界：我們將單環(huán)節(jié)的推理任務(wù)拆分到多個(gè)環(huán)節(jié)，重新定義了算力的邊界以及模型需要計(jì)算的內(nèi)容。

• 多層次任務(wù)定義與優(yōu)化：我們將復(fù)雜的計(jì)算任務(wù)定義到多個(gè)層次上，通過(guò)硬件升級(jí)、調(diào)度層面升級(jí)以及流程層面升級(jí)，帶來(lái)實(shí)際算力的提升。這樣既能夠保持全鏈路推理在百毫秒以?xún)?nèi)，又能夠支撐一定程度的 Scaling Law，以應(yīng)對(duì)不斷增長(zhǎng)的計(jì)算需求。