在電商推薦系統(tǒng)中，推薦模型長(zhǎng)期面臨著兩個(gè)核心矛盾：一方面，傳統(tǒng)的多階段級(jí)聯(lián)推薦系統(tǒng)存在目標(biāo)不一致和誤差累積的問題；另一方面，直接引入大型語言模型LLM雖然能帶來強(qiáng)大的推理能力，但其高昂的延遲和計(jì)算成本在工業(yè)級(jí)應(yīng)用中難以承受。更重要的是，現(xiàn)有的生成式推薦方法在多場(chǎng)景擴(kuò)展性上面臨巨大瓶頸--每個(gè)場(chǎng)景都需要獨(dú)立訓(xùn)練和部署，導(dǎo)致資源利用率低下、維護(hù)成本高昂。

京東零售OxygenREC團(tuán)隊(duì)在論文《OxygenREC: An Instruction-Following Generative Framework for E-commerce Recommendation》中提出了一種全新的解決方案：OxygenREC。這是一個(gè)基于“快慢思考”的指令跟隨生成式推薦框架，不僅解決了推理能力與延遲之間的矛盾，更實(shí)現(xiàn)了“一次訓(xùn)練，多處部署”的多場(chǎng)景統(tǒng)一高效解決方案。

一、 關(guān)鍵挑戰(zhàn)

OxygenREC 旨在解決當(dāng)前推薦系統(tǒng)，特別是生成式推薦范式下的三大核心難題：

1.有限的演繹推理能力：現(xiàn)有的生成式推薦方法主要從用戶海量行為中進(jìn)行歸納學(xué)習(xí)，但在需要結(jié)合現(xiàn)實(shí)世界知識(shí)進(jìn)行深度演繹推理的場(chǎng)景下表現(xiàn)不佳。比如下邊兩個(gè)例子：

1.當(dāng)推薦的時(shí)空背景和用戶畫像是“成都冬至?xí)r的年輕寶媽”時(shí)，傳統(tǒng)模型可能只是推薦“冬季外套”這樣的商品，而無法深度推理出此時(shí)成都是“冷濕環(huán)境”，這位年輕母親潛在的需求可能是“嬰兒排汗睡衣”。

2.有個(gè)戶外運(yùn)動(dòng)vlogger在購(gòu)物行為中反復(fù)對(duì)比華為Mate 70和iPhone 16 Pro兩款手機(jī)，傳統(tǒng)系統(tǒng)因?yàn)橛脩纛l繁的交互歷史，只會(huì)不斷加強(qiáng)重復(fù)推薦這兩款商品進(jìn)行比價(jià)，而無法推理出其真正訴求可能是“高質(zhì)量的移動(dòng)影像”，從而模型未能精準(zhǔn)推薦‘華為Pura’系列這一真正符合用戶訴求的目標(biāo)商品。

2.多場(chǎng)景適應(yīng)與資源效率的矛盾：大部分推薦平臺(tái)擁有首頁、頻道流、購(gòu)物車、搜索等多種推薦場(chǎng)景?，F(xiàn)有生成式推薦模型如果為每個(gè)場(chǎng)景訓(xùn)練獨(dú)立模型，會(huì)帶來巨大的運(yùn)營(yíng)和計(jì)算成本，而使用簡(jiǎn)單的統(tǒng)一模型又會(huì)面臨“負(fù)遷移”問題--不同場(chǎng)景間的知識(shí)相互干擾，導(dǎo)致性能下降。

3.工業(yè)級(jí)部署的工程挑戰(zhàn)：將LLM的深度推理能力與推薦系統(tǒng)的大規(guī)模稀疏特征、嚴(yán)格延遲要求相結(jié)合，是一個(gè)巨大的系統(tǒng)工程挑戰(zhàn)。它需要同時(shí)處理推薦系統(tǒng)典型的TB級(jí)稀疏嵌入和LLM典型的十億級(jí)稠密參數(shù)，這對(duì)訓(xùn)練框架和推理引擎都提出了極高要求。

二、 核心貢獻(xiàn)

面對(duì)這些挑戰(zhàn)，京東零售OxygenREC團(tuán)隊(duì)提出了一個(gè)基于指令跟隨的生成式推薦框架-OxygenREC，首次把LLM中的“快慢思考”模式引入到生成式推薦中來。在OxygenREC框架中，通過基于Transformer 的Encoder-Decoder 作為骨干網(wǎng)絡(luò)，能夠根據(jù)特定指令生成語義化物品序列，來執(zhí)行推薦場(chǎng)景的”快思考"方式。在“慢思考”模式中，引入上下文推理指令--由近線LLM pipeline 生成，將用戶行為與上下文合成為可解釋的指令。同時(shí)多場(chǎng)景對(duì)齊中，通過場(chǎng)景指令與基于強(qiáng)化學(xué)習(xí)的對(duì)齊機(jī)制，實(shí)現(xiàn)“一次訓(xùn)練，多場(chǎng)景部署”。

1. “快慢思考”架構(gòu)：知識(shí)注入與低延遲的平衡

這是整個(gè)OxygenREC的基礎(chǔ)，其核心思想是將復(fù)雜的推理過程“離線化”，保證在線服務(wù)的低延遲。

?慢思考：一個(gè)近線的LLM pipeline，綜合分析用戶的時(shí)空上下文、個(gè)性化特征和歷史行為，生成高質(zhì)量的“上下文推理指令”。這個(gè)過程融合了世界知識(shí)，能進(jìn)行深度演繹推理，但因其是近線批量處理，不增加在線請(qǐng)求的延遲。

?快思考：一個(gè)高效的編碼器-解碼器骨干網(wǎng)絡(luò)。它接收“慢思考”生成的指令，結(jié)合實(shí)時(shí)用戶信號(hào)，在嚴(yán)格的延遲限制下生成推薦序列。該骨干網(wǎng)絡(luò)本身輕量、高效，專為實(shí)時(shí)推理優(yōu)化。

?

2. 語義對(duì)齊的指令控制機(jī)制：讓指令真正發(fā)揮作用

僅僅生成指令是不夠的，還必須確保模型能夠準(zhǔn)確理解并遵循指令。OxygenREC通過兩項(xiàng)關(guān)鍵技術(shù)實(shí)現(xiàn)精準(zhǔn)指令控制：

?查詢到物品的對(duì)齊損失：在訓(xùn)練階段，通過一個(gè)輔助的Query-to-Item (Q2I) 損失函數(shù)，將指令嵌入與目標(biāo)物品嵌入在同一個(gè)語義空間中對(duì)齊。這使得指令能夠“理解”物品，并用于檢索：

?指令引導(dǎo)檢索(IGR)：在生成推薦時(shí)，利用對(duì)齊后的指令作為查詢，從用戶長(zhǎng)期歷史行為中檢索出最相關(guān)的部分，過濾掉無關(guān)的噪聲。這確保了模型生成時(shí)專注在與當(dāng)前指令意圖最相關(guān)的歷史信息上，大大提升了可控性和準(zhǔn)確性。

?

3. 基于指令與強(qiáng)化學(xué)習(xí)的多場(chǎng)景統(tǒng)一對(duì)齊：Train-Once-Deploy-Everywhere

這是解決多場(chǎng)景擴(kuò)展性的關(guān)鍵。OxygenREC摒棄了為每個(gè)場(chǎng)景獨(dú)立建模的思路。

?場(chǎng)景指令化：將不同的場(chǎng)景信息（如首頁、購(gòu)物車）和可選的觸發(fā)物品（如用戶點(diǎn)擊的入口商品）統(tǒng)一編碼為“場(chǎng)景指令”，作為模型的條件輸入。

?統(tǒng)一獎(jiǎng)勵(lì)映射與策略優(yōu)化：設(shè)計(jì)了一個(gè)統(tǒng)一的獎(jiǎng)勵(lì)映射服務(wù)，將不同場(chǎng)景、不同業(yè)務(wù)目標(biāo)（如GMV，轉(zhuǎn)化率，合法性，多樣性）的獎(jiǎng)勵(lì)信號(hào)歸一化。在此基礎(chǔ)上，提出了Soft Adaptive Group Clip Policy Optimization (SA-GCPO) 算法進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練:

?該算法用自適應(yīng)門控函數(shù)替代傳統(tǒng)基于GRPO的硬截?cái)喾绞?hard clip):

?并以基于用戶真實(shí)反饋的獎(jiǎng)勵(lì)分?jǐn)?shù)作為閾值區(qū)分正負(fù)advantage樣本，顯著提升了多任務(wù)、多場(chǎng)景下策略學(xué)習(xí)的穩(wěn)定性和效率：

?

4. 大規(guī)模生產(chǎn)級(jí)系統(tǒng)實(shí)現(xiàn)

為了支撐以上創(chuàng)新，團(tuán)隊(duì)構(gòu)建了完整的工程體系：

??統(tǒng)一訓(xùn)練框架：基于PyTorch，深度融合了工業(yè)級(jí)稀疏嵌入引擎和LLM稠密訓(xùn)練引擎，在128張H800 GPU集群上實(shí)現(xiàn)了40%的模型FLOPs利用率。?

?高性能推理引擎xLLM：針對(duì)生成式推薦長(zhǎng)上下文、大候選集的特點(diǎn)，定制開發(fā)了xLLM推理框架，通過xSchedule（系統(tǒng)調(diào)度）、xAttention（算子優(yōu)化）、xBeam（束搜索優(yōu)化）三級(jí)優(yōu)化，滿足線上嚴(yán)格的服務(wù)級(jí)別目標(biāo)。

?近線指令服務(wù)：推理指令通過近線服務(wù)批量生成并存入KV數(shù)據(jù)庫，線上推薦模型直接讀取，實(shí)現(xiàn)了零在線LLM調(diào)用，兼顧了語義豐富性和低延遲。

?

三、 實(shí)驗(yàn)成果

OxygenREC在京東幾個(gè)核心場(chǎng)景的大量離線實(shí)驗(yàn)和在線A/B測(cè)試中取得了顯著效果，證明OxygenREC 基于生成式推薦的方法在大規(guī)模工業(yè)級(jí)推薦系統(tǒng)中的有效性。

1. 基于快慢思考的生成式框架有效性驗(yàn)證

?語義ID：通過多源對(duì)比學(xué)習(xí)（文本、圖像、行為關(guān)聯(lián)）構(gòu)建的層次化語義ID，在保持高類別純度（92.8%）的同時(shí)，實(shí)現(xiàn)了極低的ID碰撞，證明了其強(qiáng)大的表達(dá)和區(qū)分能力。

?指令跟隨：消融實(shí)驗(yàn)證明，在BOS右側(cè)插入指令的方式為最佳；融合了場(chǎng)景ID和觸發(fā)物品ID的指令效果顯著優(yōu)于單一組件；IGR和Q2I對(duì)齊機(jī)制共同作用帶來了顯著的性能提升。

?統(tǒng)一模型 vs. 獨(dú)立模型：在六個(gè)核心場(chǎng)景的對(duì)比中，統(tǒng)一的OxygenREC模型全面超越了為每個(gè)場(chǎng)景獨(dú)立微調(diào)的基線模型，驗(yàn)證了OxygenREC框架在場(chǎng)景間正向遷移的有效性。

2. 基于SA-GCPO后訓(xùn)練的有效性驗(yàn)證

在后續(xù)訓(xùn)練階段，提出的SA-GCPO算法在合成數(shù)據(jù)比例變化時(shí)表現(xiàn)更穩(wěn)定，且性能顯著優(yōu)于傳統(tǒng)的GRPO及其變體GSPO。例如，在33%合成數(shù)據(jù)比例下，SA-GCPO在HR@1和HR@10上有顯著提升。

3. 電商場(chǎng)景在線A/B測(cè)試的商業(yè)效果

OxygenREC已在京東App上形成覆蓋用戶購(gòu)物全鏈路的部署閉環(huán)：首頁導(dǎo)流（場(chǎng)景1、2）-> 頻道瀏覽（場(chǎng)景3、4）-> 商品結(jié)算轉(zhuǎn)化（場(chǎng)景5、6）。在線測(cè)試結(jié)果表明，該模型在所有關(guān)鍵業(yè)務(wù)指標(biāo)上均帶來顯著提升：

?首頁場(chǎng)景：GMV提升4.52%-8.40%。

?頻道流場(chǎng)景：其中一個(gè)場(chǎng)景的訂單量提升了8.03%，顯示出模型精準(zhǔn)匹配購(gòu)買意圖的能力。

?結(jié)算路徑場(chǎng)景：在用戶強(qiáng)購(gòu)買意圖下，GMV提升高達(dá)11.80%。

與行業(yè)上其他生成式推薦方式對(duì)比:

OxygenREC 在幾個(gè)關(guān)鍵維度上進(jìn)行了生成式推薦的范式革新：

?架構(gòu)上，用“快慢思考”破解了推理與延遲的死結(jié)。

?效率上，用“統(tǒng)一指令模型”破解了多場(chǎng)景訓(xùn)練的困局。

?控制上，用“語義對(duì)齊與引導(dǎo)檢索”構(gòu)建了生成式推薦模型的指令跟隨能力。

?優(yōu)化上，用“SA-GCPO”和全棧系統(tǒng)優(yōu)化，確保了技術(shù)在工業(yè)巨量流量下的可行性、穩(wěn)定性和卓越性能。

?

總結(jié)與展望

OxygenREC的成功，標(biāo)志著生成式推薦在工業(yè)落地上邁出了關(guān)鍵一步。它通過“快慢思考”巧妙平衡了深度推理與低延遲，通過“指令跟隨”實(shí)現(xiàn)了對(duì)推薦過程的精準(zhǔn)可控，并通過統(tǒng)一的獎(jiǎng)勵(lì)與策略學(xué)習(xí)破解了多場(chǎng)景擴(kuò)展的難題，真正實(shí)現(xiàn)了“一次訓(xùn)練，多場(chǎng)景部署”的pipeline。

未來，京東零售OxygenREC團(tuán)隊(duì)計(jì)劃從兩個(gè)方向繼續(xù)探索：

?一是向基于語言擴(kuò)散模型的非自回歸生成范式演進(jìn)，從根本上突破序列生成延遲與列表長(zhǎng)度的線性關(guān)系，滿足更高吞吐需求；

?二是開展跨場(chǎng)景用戶軌跡建模，從用戶在首頁、搜索、購(gòu)物車、結(jié)算等多場(chǎng)景的連貫行為中挖掘更深層的用戶意圖，實(shí)現(xiàn)更長(zhǎng)周期的價(jià)值推薦。

OxygenREC不僅是一個(gè)高效的推薦系統(tǒng)，更為工業(yè)級(jí)生成式AI應(yīng)用的大模型設(shè)計(jì)提供了寶貴范式--如何將大模型的“腦”與小模型的“身手”結(jié)合，如何在復(fù)雜多目標(biāo)任務(wù)中實(shí)現(xiàn)穩(wěn)定高效的學(xué)習(xí)，這其中的思想值得廣泛借鑒。