自我介紹：京東零售搜推算法部算法工程師，專注于大模型技術(shù)以及在 AI 助手搜推等領(lǐng)域的應(yīng)用探索和實踐。在 AI 助手，NLP 和搜索領(lǐng)域有十多年研發(fā)實踐經(jīng)驗，在 AI/NLP 領(lǐng)域申請超過 15 項發(fā)明專利并出版兩部著作。

?

隨著電商行業(yè)的蓬勃發(fā)展，搜索技術(shù)作為連接用戶與商品的橋梁，其重要性日益凸顯。在技術(shù)不斷革新的今天，電商搜索技術(shù)經(jīng)歷了哪些階段？面對大模型的飛速發(fā)展，企業(yè)又將如何把握趨勢，應(yīng)對挑戰(zhàn)？為了深入探討這些問題，我和InfoQ欄目探討了電商搜索技術(shù)的發(fā)展歷程、當(dāng)前的應(yīng)用狀況以及面臨的挑戰(zhàn)和未來的發(fā)展方向。以下是采訪的詳細內(nèi)容。

?

InfoQ：在您看來電商搜索經(jīng)歷了哪些階段？

翟周偉：我從技術(shù)發(fā)展的角度講下，本質(zhì)上電商搜索技術(shù)演進的驅(qū)動力是通過不斷的技術(shù)創(chuàng)新去實現(xiàn)更低的成本，更高的效率，以及更好的用戶體驗，可以劃分為 4 個階段：

第一是文本檢索階段，主要基于基礎(chǔ)文本檢索技術(shù)和以規(guī)則統(tǒng)計為主的人貨匹配；

第二是機器學(xué)習(xí)階段，以統(tǒng)計 NLP 技術(shù)為核心的用戶意圖理解和商品理解，利用機器學(xué)習(xí)模型對 UCTR 和 UCVR 進行建模提升轉(zhuǎn)化，并在人貨匹配上引入 LTR 等排序模型提升相關(guān)性，同時利用用戶搜索行為反饋數(shù)據(jù)來優(yōu)化效果；

第三是深度學(xué)習(xí)階段，核心是 DNN 技術(shù)驅(qū)動，包括基于深度模型的意圖理解和商品理解顯著提升了需求分發(fā)的準確性，在商品搜索上引入了 ANN 語義向量召回，多模態(tài)召回，DNN 匹配技術(shù)，交互上除了文本交互還支持以 DNN 技術(shù)為核心的語音和圖像商品搜索交互，排序上支持個性化搜索可以千人千面的商品展示；

第四是大模型階段，正是當(dāng)下正在經(jīng)歷的階段，首先是交互的改變，從單向的需求引導(dǎo)到雙向的對話式自然語言交互，基于大模型的用戶理解和商品理解有效解決了長尾泛化問題，在召回和相關(guān)性上大模型也正在重構(gòu)整個技術(shù)架構(gòu)，包括極具有顛覆潛力的大模型生成式檢索技術(shù)的探索和應(yīng)用。

?

InfoQ：在京東或者在電商平臺，大模型主要應(yīng)用于什么方向？可否舉幾個例子？

翟周偉：在電商領(lǐng)域主要在用戶交互，意圖理解和商品理解，商品召回和相關(guān)性，以及文案創(chuàng)意生成等方向。在用戶交互上重點利用大模型的對話能力進行對話式交互導(dǎo)購，例如我們的京言 AI 助手，意圖理解和商品理解上核心是利用大模型的超強理解能力進一步提升用戶需求識別的準確性以及商品信息的精準建模，商品召回和相關(guān)性上的一個典型例子就是用大模型做商品的增強召回，用大模型對用戶需求和商品 SKU 做相關(guān)性，文案生成應(yīng)用上利用大模型來生成圖文并茂的營銷文案，大模型評論總結(jié)等。

?

InfoQ：這些應(yīng)用有哪些實際落地的困難？

翟周偉：第一個首要問題就是通用大模型對商品知識的理解能力比較弱，直接應(yīng)用沒有明顯效果優(yōu)勢；第二個問題就是個性化 Context 理解問題，大模型在理解用戶購物偏好，用戶評論，商品細節(jié)上存在個性化效果挑戰(zhàn)；第三個就是時效性問題，大模型本身數(shù)據(jù)更新很慢，知識陳舊，而新商品，促銷，價格等時效性更新超高頻；第四個就是成本和速度問題，大模型訓(xùn)練和推理成本很大，大規(guī)模使用會面臨 ROI 低的問題，在線推理速度也很難滿足系統(tǒng)實時性要求；最后就是安全問題，大模型存在敏感數(shù)據(jù)泄露風(fēng)險，以及生成內(nèi)容的安全合規(guī)等問題。

?

InfoQ：大模型實時信息獲取和專業(yè)信息處理能力的能力應(yīng)該是非常重要的一環(huán)，京東的解決思路是什么？目前可以做到什么程度或者說效果？

翟周偉：我們的解決思路主要通過兩種方法，第一是新數(shù)據(jù)和新知識的增強持續(xù)預(yù)訓(xùn)練，第二就是 RAG，包括電商知識圖譜 KG-RAG，商品搜索 RAG，Web 搜索 RAG。通過這些技術(shù)手段我們的大模型在電商領(lǐng)域任務(wù)上顯著高于通用大模型，并且通過 RAG 可以做到實時性信息更新。

?

InfoQ：如何構(gòu)建一個好的大模型電商搜索引擎？在您看來需要哪些原則或者考慮？

翟周偉：大模型電商搜索引擎的核心是所使用大模型的能力決定的，這個能力不僅僅是在通用領(lǐng)域的性能，關(guān)鍵在于大模型對于電商用戶的理解，對商品的深刻理解，對電商場景的理解，以及在整個電商應(yīng)用任務(wù)上的性能表現(xiàn)，因此核心考慮是如何構(gòu)建一個高性能的電商大模型能力底座，以及性能評估體系。

這個也是當(dāng)前我們的工作重點，啟發(fā)于人類學(xué)習(xí)總是在前人積累的知識和經(jīng)驗上進一步學(xué)習(xí)，我們提出了一種繼承學(xué)習(xí)方法來持續(xù)學(xué)習(xí)，在數(shù)據(jù)上通過提升知識密度和配比調(diào)整，通過模型結(jié)構(gòu)優(yōu)化，退火學(xué)習(xí)，多階段指令對齊優(yōu)化，增強安全治理對齊等方法提升我們電商大模型的性能表現(xiàn)。

?

InfoQ：大家都說大模型好，但是目前行得通的商業(yè)模式目前還不多，您認為企業(yè)，大家對于大模型的投入產(chǎn)出比如何？

翟周偉：大模型表現(xiàn)的涌現(xiàn)能力讓人震驚，基于大模型的各種應(yīng)用層出不窮，但到目前為止還沒有出現(xiàn)所謂的大模型超級應(yīng)用，也沒有出現(xiàn)顛覆性的商業(yè)模式，由于大模型研發(fā)成本非常大，各種基于大模型的原生應(yīng)用，包括一線大廠和創(chuàng)業(yè)公司的各種 AI 助手類應(yīng)用還都處于虧損階段，因此 ROI 是很低的，但大模型應(yīng)用的商業(yè)潛力巨大，這種商業(yè)探索非常值得。

同時另一個方面是利用大模型去優(yōu)化成熟商業(yè)模式業(yè)務(wù)中的效果，重點在于解決中長尾問題，在這個方向上 ROI 還是可以的，已經(jīng)產(chǎn)生了商業(yè)價值。

?

InfoQ：理想中的下一代 AI 電商搜索是什么樣的？

翟周偉：理想的下一代 AI 電商搜索在技術(shù)上應(yīng)該是完全大模型驅(qū)動或 AGI 技術(shù)驅(qū)動，產(chǎn)品形態(tài)上應(yīng)該是一個數(shù)字虛擬助理，類似電影《Her》中出現(xiàn)的超級 AI 助手，在交互上可以和人類進行全模態(tài)的自然語言交互，可以直接進行無障礙的流暢語音交互，同時具有聽覺，視覺，以及空間感知等能力，可以精準基于用戶需求直接推薦最匹配的商品，并給出精準的商品總結(jié)，以及為什么滿足需求，性價比等，在需求不明的時候可以進行擬人的交互式導(dǎo)購，并可以智能的通過 AI Agent 技術(shù)在用戶授權(quán)下自動下單，包括后續(xù)的物流，售后服務(wù)都可以由 Agent 來完成，用戶只需要下達命令即可。

?

InfoQ：可以看的出京東也是比較重視大模型的投入的，在您看來一般企業(yè)開發(fā)或應(yīng)用大模型的門檻是不是比較高？對于企業(yè)開發(fā)和應(yīng)用大模型有哪些建議？

翟周偉：在我看來，對于一般企業(yè)做大模型應(yīng)用的門檻其實是相對比較低，至少是比傳統(tǒng)的 AI 應(yīng)用門檻低，是因為大模型改變了 AI 應(yīng)用的研發(fā)范式，只需要會寫 prompt 就可以使用大模型，而且效果不錯，雖然應(yīng)用門檻變低了，但要做好大模型應(yīng)用的門檻是變高了，是因為一旦涉及到具體的業(yè)務(wù)場景深度效果優(yōu)化就需要優(yōu)化大模型本身，而大模型研發(fā)成本和技術(shù)門檻還是比較高，首先訓(xùn)練和推理資源投入就很大，數(shù)據(jù)也需要很大成本，技術(shù)上涉及到預(yù)訓(xùn)練，SFT，DPO，PPO，MOE 等技術(shù)，要做好還是有門檻的。在應(yīng)用上我有兩點建議：

第一：如果偏向創(chuàng)新產(chǎn)品，建議初期直接調(diào)用大模型云服務(wù) API，以 prompt 方式先把產(chǎn)品做出來，先跑通商業(yè)模式，盡快建立用戶反饋，有一定用戶規(guī)模后再考慮是否研發(fā)自己的大模型。

第二：如果需要優(yōu)化大模型，建議以性能和商用友好的開源大模型作為底座從而降低訓(xùn)練成本，可結(jié)合應(yīng)用在預(yù)訓(xùn)練增強，指令對齊上進行優(yōu)化，也可以開源模型做初始化進行模型擴展或壓縮以適應(yīng)業(yè)務(wù)需求。

審核編輯 黃宇