在京東，技術(shù)從不是冰冷的代碼，而是連接消費(fèi)者與美好生活的橋梁。

在京東零售，我用大模型賦能智能導(dǎo)購、搜索等電商場(chǎng)景，工作期間發(fā)表4篇頂會(huì)論文，提交專利8篇，并入選北京亦麒麟優(yōu)秀人才。這些寫進(jìn)頂會(huì)論文的技術(shù)突破、藏在專利證書里的創(chuàng)新方案，都化作了消費(fèi)者指尖上的流暢體驗(yàn)。

以下是我的故事，歡迎技術(shù)同仁們一起交流——

?

從校園步入職場(chǎng)后，我深刻體會(huì)到理論與實(shí)踐的差異：學(xué)生時(shí)代我們往往會(huì)尋求"最優(yōu)解"，習(xí)慣于拿著技術(shù)這把“錘子”去尋找應(yīng)用場(chǎng)景這顆“釘子”；而在工業(yè)界，特別是在京東電商這樣復(fù)雜的業(yè)務(wù)環(huán)境下，我們更需要尋找"最適解"。

在實(shí)際工作中，我面臨著諸多教科書上未曾提及的挑戰(zhàn)：用戶決策階段的動(dòng)態(tài)變化、電商生態(tài)健康與商業(yè)效率的平衡、億級(jí)流量下的工程約束…這些復(fù)雜問題無法用現(xiàn)成的理論公式直接套用，但正是這些挑戰(zhàn)讓我感到無比興奮。

?

登上頂會(huì)SIGIR的商品重排模型

?

京東主站搜索優(yōu)化是我在京東的第一個(gè)項(xiàng)目，也讓我真正體會(huì)到算法在工業(yè)界落地的獨(dú)特魅力。在用戶調(diào)研中我們發(fā)現(xiàn)，當(dāng)消費(fèi)者搜索某一商品時(shí)，傳統(tǒng)算法會(huì)一股腦展現(xiàn)最暢銷的幾款，頭部結(jié)果往往被少數(shù)爆款壟斷，雖保證點(diǎn)擊率卻犧牲了長尾商品曝光。搜索排序的意義不是單純提升點(diǎn)擊率，而是精準(zhǔn)適配用戶決策階段。

?

其實(shí)問題本質(zhì)在于，用戶搜索時(shí)其實(shí)處于不同的決策階段。

在“逛”場(chǎng)景時(shí)，需求比較模糊，用戶可能從泛化搜索“手機(jī)”快速收斂至“iPhone 15 256GB 藍(lán)色”，也可能在“Switch→油煙機(jī)→嬰兒車”的離散查詢中展現(xiàn)多興趣探索。

在“買”場(chǎng)景是，用戶目標(biāo)明確，需要精準(zhǔn)結(jié)果縮短決策，如引導(dǎo)用戶在搜索“iPhone 15 256GB 藍(lán)色”時(shí)直接下單。

而既有的算法模型將多樣性與準(zhǔn)確性視為互斥目標(biāo)，采用固定權(quán)重線性融合，導(dǎo)致兩類指標(biāo)難以協(xié)同優(yōu)化。

?

我們?cè)谙耄?strong>“能不能讓算法像人類一樣，動(dòng)態(tài)理解用戶意圖？”

?

傳統(tǒng)方法難以捕捉動(dòng)態(tài)用戶偏好的動(dòng)態(tài)變化趨勢(shì)，因此我們決定在模型中引入分布建模來捕捉這種動(dòng)態(tài)性，并提出了名為PODM-MI的重排框架。

?

第一層用高斯分布建模用戶偏好，當(dāng)用戶搜索"連衣裙→碎花連衣裙→藍(lán)色碎花連衣裙"時(shí)，協(xié)方差持續(xù)縮小，則調(diào)高準(zhǔn)確性權(quán)重；當(dāng)用戶搜索"手機(jī)→Switch→油煙機(jī)"時(shí)，則意味協(xié)方差增大，需要調(diào)高多樣性系數(shù)。

第二層引入互信息下界優(yōu)化，讓排序結(jié)果的多樣性與用戶偏好高度相關(guān)，展現(xiàn)關(guān)聯(lián)商品，避免無關(guān)結(jié)果。通過互信息最大化實(shí)現(xiàn)動(dòng)態(tài)平衡。實(shí)現(xiàn)平衡后，商品既不會(huì)全是爆款，也不會(huì)雜亂無章，而是"用戶可能感興趣的新選擇"。

第三層設(shè)計(jì)效用矩陣融合模塊，可以在排序過程中動(dòng)態(tài)調(diào)整商品與多樣性趨勢(shì)之間的相對(duì)重要程度。

實(shí)踐證明，這個(gè)新方案在業(yè)務(wù)指標(biāo)UCVR上取得顯著效果，年化訂單增量超千萬。我們的研究也入選了頂會(huì)SIGIR 2024。但說實(shí)話，能解決億級(jí)商品匹配的實(shí)際問題，讓消費(fèi)者能更快選到心儀的商品，比論文中稿更讓人振奮得多。

?

真正的技術(shù)價(jià)值在于能否用系統(tǒng)性的解決方案彌合業(yè)務(wù)需求與技術(shù)能力之間的鴻溝。就像木匠不會(huì)僅因錘子精巧而驕傲，而在于用合適的工具造出堅(jiān)固的房屋。技術(shù)遠(yuǎn)見也并非是簡單的追逐熱點(diǎn)，是立足于業(yè)務(wù)本質(zhì)，深入理解業(yè)務(wù)需求，主動(dòng)識(shí)別那些能為業(yè)務(wù)帶來長期價(jià)值的新技術(shù)趨勢(shì)。

?

發(fā)現(xiàn)業(yè)界首個(gè)技術(shù)瓶頸

?

隨著對(duì)業(yè)務(wù)場(chǎng)景的理解不斷深入，在團(tuán)隊(duì)創(chuàng)新文化氛圍下，我們開始嘗試突破常規(guī)的技術(shù)思路。

?

現(xiàn)在生成式搜索推薦技術(shù)正在重塑電商行業(yè)的交互范式。我們?cè)谕七M(jìn)TIGER方法實(shí)踐過程中，會(huì)為百億商品基于RQ-VAE來構(gòu)建語義標(biāo)識(shí)符（SID)。而在構(gòu)建SID過程中，發(fā)現(xiàn)一個(gè)奇特現(xiàn)象：

商品的SID編碼呈現(xiàn)出"兩頭寬中間窄"的沙漏形狀，兩頭的商品編碼均勻分布在不同區(qū)域，而中間層卻異常集中。這導(dǎo)致碼表可用率異常低，且模型訓(xùn)練難度更大，模型上限被死死卡住，制約著數(shù)億商品的高效匹配。

我們對(duì)此進(jìn)行了分析，問題的根源在于RQVAE方法本身的特性。具體來說：第一層對(duì)原始商品特征進(jìn)行粗粒度聚類，此時(shí)數(shù)據(jù)分布相對(duì)均勻；第二層處理的殘差信息呈現(xiàn)明顯極化——多數(shù)數(shù)據(jù)都靠近聚類中心，而少數(shù)數(shù)據(jù)則偏離較遠(yuǎn)，形成了明顯的長尾現(xiàn)象；第三層再次對(duì)殘差進(jìn)行聚類，數(shù)據(jù)分布重新趨于均勻。而本身存在長尾數(shù)據(jù)分布的電商場(chǎng)景，進(jìn)一步放大了這種沙漏效應(yīng)。

?

經(jīng)過反復(fù)驗(yàn)證，我們確認(rèn)這個(gè)現(xiàn)象是業(yè)內(nèi)首次被系統(tǒng)發(fā)現(xiàn)的技術(shù)瓶頸，這也是一次真正的從0到1的創(chuàng)新突破。到現(xiàn)在我都還記得當(dāng)初那種如發(fā)現(xiàn)新大陸般的興奮與悸動(dòng)，像是探索到了生成式搜推的上限，更打開了一扇預(yù)見未來業(yè)務(wù)形態(tài)的窗口。

?

我們從分布角度提出了兩種輕量化解決方案。第一種方案是直接移除中間層的瓶頸節(jié)點(diǎn)，在完整生成所有層級(jí)的SID后進(jìn)行第二層節(jié)點(diǎn)的移除，移除瓶頸節(jié)點(diǎn)，解決長尾集中問題。第二種，我們引入自適應(yīng)閾值策略，動(dòng)態(tài)地剔除第二層中過于集中的高頻節(jié)點(diǎn)，保持了整體數(shù)據(jù)分布的穩(wěn)定性，有效緩解了“沙漏效應(yīng)”帶來的路徑稀疏問題。實(shí)驗(yàn)表明，通過這兩種方案，合理地移除一定比例的高頻節(jié)點(diǎn)后，模型離線召回率有顯著提升，讓用戶能更快發(fā)現(xiàn)想要的商品。

?

每當(dāng)回顧這個(gè)發(fā)現(xiàn)過程，我都能感受到技術(shù)創(chuàng)新最純粹的魔力——在已知與未知的邊界上，用嚴(yán)謹(jǐn)、務(wù)實(shí)的精神開拓出新的可能。那些學(xué)生時(shí)代一知半解的技術(shù)概念，在日復(fù)一日的工程實(shí)踐中逐漸變得逐漸清晰；不同技術(shù)間的關(guān)聯(lián)，也在解決實(shí)際業(yè)務(wù)問題中建立起有機(jī)聯(lián)系，整個(gè)技術(shù)版圖呈現(xiàn)出前所未有的完整面貌。

?審核編輯 黃宇