近日，京東舉辦首屆大數(shù)據(jù)峰會(huì)，此次峰會(huì)亮點(diǎn)頗多，京東打造的智能零售大數(shù)據(jù)“操作系統(tǒng)”全面亮相，并發(fā)布《京東大數(shù)據(jù)技術(shù)白皮書》，宣布與英特爾合作建立數(shù)字化零售聯(lián)合實(shí)驗(yàn)室、推出針對(duì)線下零售、區(qū)塊鏈等領(lǐng)域的多款產(chǎn)品。

值得注意的是，不同以往以戰(zhàn)略和產(chǎn)品為主的發(fā)布會(huì)，此次，京東大數(shù)據(jù)團(tuán)隊(duì)各技術(shù)部門負(fù)責(zé)人悉數(shù)登臺(tái)，詳細(xì)介紹了京東大數(shù)據(jù)平臺(tái)的底層架構(gòu)和技術(shù)細(xì)節(jié)。

發(fā)布大數(shù)據(jù)白皮書，打造一站式全流程大數(shù)據(jù)解決方案

京東集團(tuán)CTO張晨在開場(chǎng)演講中指出，如今的京東已經(jīng)不僅僅是一家零售公司，而是數(shù)字經(jīng)濟(jì)與實(shí)體經(jīng)濟(jì)深度融合的創(chuàng)新企業(yè)，完整的產(chǎn)業(yè)鏈條帶來了海量大數(shù)據(jù)和豐富的業(yè)務(wù)場(chǎng)景。

據(jù)介紹，2010年京東就啟動(dòng)了在大數(shù)據(jù)領(lǐng)域的研發(fā)和應(yīng)用探索，正式組建京東大數(shù)據(jù)部，并確立了數(shù)據(jù)集中式的數(shù)據(jù)服務(wù)模式。

此次發(fā)布會(huì)，《京東大數(shù)據(jù)技術(shù)白皮書》正式對(duì)外發(fā)布，至于為什么選擇在這個(gè)節(jié)點(diǎn)發(fā)布，京東集團(tuán)副總裁、大數(shù)據(jù)平臺(tái)負(fù)責(zé)人翁志在接受包括雷鋒網(wǎng)在內(nèi)的媒體采訪時(shí)表示，首先，京東大數(shù)據(jù)經(jīng)過十幾年的發(fā)展，在技術(shù)上已經(jīng)積累到一定程度，是時(shí)候向外界展示其成果；其次，京東非?？春脭?shù)據(jù)科學(xué)對(duì)整個(gè)經(jīng)濟(jì)發(fā)展的驅(qū)動(dòng)，通過這個(gè)節(jié)點(diǎn)發(fā)布白皮書，可以展示京東的技術(shù)能力，也希望通過大數(shù)據(jù)和數(shù)據(jù)產(chǎn)品的對(duì)外開放，賦能行業(yè)，產(chǎn)生更大價(jià)值。

此外，翁志表示，通過發(fā)布大數(shù)據(jù)技術(shù)白皮書，可以讓行業(yè)伙伴和相關(guān)從業(yè)者對(duì)京東大數(shù)據(jù)整個(gè)發(fā)展概貌有比較系統(tǒng)的了解，“研發(fā)人員也可以通過這本書來了解京東是怎樣進(jìn)行數(shù)據(jù)處理的，可以看到我們?cè)谀姆矫娣浅Ｖ匾?，做了哪些工作；?duì)于大數(shù)據(jù)分析的從業(yè)人員，他們可以從中來了解京東大概數(shù)據(jù)的面貌，這里包括底層的，包括我們產(chǎn)品的，也包括我們應(yīng)用方向的，所以對(duì)他們來說應(yīng)該也是非常有用；這本白皮書對(duì)普通的數(shù)據(jù)分析人員和新聞工作者也有參考價(jià)值?！?/p>

第一時(shí)間拿到了這本《京東大數(shù)據(jù)技術(shù)白皮書》，主體內(nèi)容共八個(gè)章節(jié)，涵蓋了京東大數(shù)據(jù)的發(fā)展歷程、技術(shù)體系、數(shù)據(jù)管理、數(shù)據(jù)產(chǎn)品、應(yīng)用場(chǎng)景、合作生態(tài)以及京東大數(shù)據(jù)的特點(diǎn)和展望。

白皮書中指出，京東大數(shù)據(jù)平臺(tái)的發(fā)展隨著京東業(yè)務(wù)同步發(fā)展，由原來的傳統(tǒng)數(shù)據(jù)倉庫模式逐步演變?yōu)榛贖adoop的分布式計(jì)算架構(gòu)。

技術(shù)領(lǐng)域覆蓋Hadoop、Kubernetes、Spark、Hive、Alluxio、Presto、Hbase、Storm、Flink、Kafka等大數(shù)據(jù)全生態(tài)體系。

目前已擁有集群規(guī)模40000+服務(wù)器、數(shù)據(jù)規(guī)模800PB+、日增數(shù)據(jù)1P+，每日的離線數(shù)據(jù)日處理30PB+，實(shí)時(shí)計(jì)算每天行數(shù)近萬億條。

建設(shè)了完整的技術(shù)體系，包括離線計(jì)算、實(shí)時(shí)計(jì)算和機(jī)器學(xué)習(xí)平臺(tái)，可以滿足多種復(fù)雜應(yīng)用場(chǎng)景的計(jì)算任務(wù)。

元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、任務(wù)調(diào)度、數(shù)據(jù)開發(fā)工具、流程中心等構(gòu)成了全面的數(shù)據(jù)運(yùn)營工具。

分析師、指南針等數(shù)據(jù)應(yīng)用產(chǎn)品提供了便利的數(shù)據(jù)分析功能，以及敏感數(shù)據(jù)保護(hù)、數(shù)據(jù)權(quán)限控 制等策略方案，能夠最大程度地保護(hù)數(shù)據(jù)資產(chǎn)的安全。

利用大數(shù)據(jù)分析和挖掘，京東打造了個(gè)性化商城，自主研發(fā)了智能門店解決方案，打造了智能供應(yīng)鏈體系，京東大數(shù)據(jù)的應(yīng)用已滲透到了業(yè)務(wù)的各個(gè)環(huán)節(jié)。

京東大數(shù)據(jù)的特點(diǎn)包括：

高可用和高性能。采用自研 Yarn Federation 技術(shù)實(shí)現(xiàn)資源按需無限擴(kuò)展；采用自研大數(shù)據(jù)虛擬化容器技術(shù)實(shí)現(xiàn)計(jì)算資源共享；采用自研 Vitual FileSystem 技術(shù)實(shí)現(xiàn)計(jì)算存儲(chǔ)分離。

一站式服務(wù)平臺(tái)。覆蓋了用戶、商品、采銷、倉儲(chǔ)、配送、 訂單、售后等電商全產(chǎn)業(yè)鏈數(shù)據(jù)；建立了完善的技術(shù)體系；提供全面的平臺(tái)產(chǎn)品和服務(wù)。

可靠的安全保障。數(shù)據(jù)分級(jí)保護(hù)；通過用戶權(quán)限系統(tǒng)保障用戶數(shù)據(jù)安全；對(duì)敏感數(shù)據(jù)傳輸通道進(jìn)行加密。

此外，京東大數(shù)據(jù)建設(shè)了全生態(tài)核心產(chǎn)品體系，是京東大數(shù)據(jù)業(yè)務(wù)的基礎(chǔ)服務(wù)平臺(tái)，為京東全業(yè)務(wù)生態(tài)提供一站式、自助式的大數(shù)據(jù)處理全流程解決方案。

涵蓋數(shù)據(jù)采集、存儲(chǔ)、加工、分析、可視化、機(jī)器學(xué)習(xí)等專業(yè)化產(chǎn)品和服務(wù)，在保障數(shù)據(jù)安全的前提下，提供更可靠、高性能的服務(wù)，降低大數(shù)據(jù)使用門檻，幫助京東大數(shù)據(jù)業(yè)務(wù)快速落地。

攜手英特爾，建立數(shù)字化零售聯(lián)合實(shí)驗(yàn)室

在論壇上，京東攜手英特爾宣布建立數(shù)字化零售聯(lián)合實(shí)驗(yàn)室，據(jù)介紹，雙方將探索IoT（物聯(lián)網(wǎng)）在線下智能零售解決方案中的應(yīng)用。

數(shù)字化零售聯(lián)合實(shí)驗(yàn)室將憑借京東在零售行業(yè)的海量大數(shù)據(jù)積累，與英特爾邊緣計(jì)算優(yōu)勢(shì)相結(jié)合，旨在建立更加完善的零售產(chǎn)業(yè)基礎(chǔ)設(shè)施，孵化并推動(dòng)新技術(shù)、新產(chǎn)品的商業(yè)落地與全球推廣。

翁志表示：“這個(gè)實(shí)驗(yàn)室將結(jié)合雙方的優(yōu)勢(shì)，開發(fā)尖端的解決方案，將在線購物出色的精準(zhǔn)體驗(yàn)帶給線下的消費(fèi)者。我們期待著擴(kuò)大與英特爾的合作，無論消費(fèi)者在哪里購物，都能提供一流的個(gè)性化購物體驗(yàn)?！?/p>

據(jù)了解，目前京東已與英特爾在門店科技、邊緣計(jì)算、新媒體領(lǐng)域展開合作并取得了一定成果：

在門店科技方面，借助京東機(jī)器視覺算法與英特爾RRI邊緣計(jì)算和OPENVINO計(jì)算機(jī)視覺加速技術(shù)，已經(jīng)可以利用普通安防攝像頭做門店客流分析與用戶行為識(shí)別。

在邊緣計(jì)算領(lǐng)域，結(jié)合英特爾的技術(shù)優(yōu)勢(shì)與京東門店IoT平臺(tái)結(jié)合，提升了設(shè)備接入能力與邊緣計(jì)算能力。

新媒體方面，雙方正在就基于深度學(xué)習(xí)的智能媒體推薦平臺(tái)展開合作，根據(jù)周邊客群特點(diǎn)提升廣告投放效果。

針對(duì)線下零售，推出全新智能零售解決方案“數(shù)鏈+”

在論壇上，京東公布了針對(duì)線下零售的全新智能零售解決方案——數(shù)鏈+。

據(jù)介紹，數(shù)鏈+大數(shù)據(jù)智能零售服務(wù)解決方案整合了此前京東在門店科技、智能供應(yīng)鏈等業(yè)務(wù)上的經(jīng)驗(yàn)成果，由京東大數(shù)據(jù)團(tuán)隊(duì)自研形成。

該解決方案是將大數(shù)據(jù)技術(shù)和人工智能技術(shù)進(jìn)行結(jié)合打造出的智能零售業(yè)態(tài)。

首先，以社交體系、內(nèi)容體系以及交易體系為依托，為品牌商打造的線上線下一體化、服務(wù)深度定制化、場(chǎng)景交易高融合的零售解決方案，旨在成為智能零售的大數(shù)據(jù)“操作系統(tǒng)”。

其次，以實(shí)現(xiàn)產(chǎn)業(yè)鏈成本、效率最優(yōu)化，打造極致用戶體驗(yàn)為目的，針對(duì)現(xiàn)有的線下實(shí)體店進(jìn)行升級(jí)改造，為店鋪提供智能化數(shù)據(jù)支撐，實(shí)現(xiàn)“知人、知貨、知場(chǎng)”的精準(zhǔn)匹配，驅(qū)動(dòng)企業(yè)業(yè)務(wù)增長、提升運(yùn)營效率，為客戶提供個(gè)性化、高品質(zhì)產(chǎn)品及服務(wù)。

在該解決方案中，包含了前端的應(yīng)用到基礎(chǔ)的協(xié)議和數(shù)據(jù)支持，每一個(gè)功能都以組件化的模式對(duì)外輸出，并整合了祖沖之全鏈路數(shù)據(jù)平臺(tái)，提供更為完整的一體化解決方案。

此外，為了能夠更好地幫助商家使用這套解決方案，京東還推出了“燈塔”計(jì)劃，由組件、產(chǎn)品和服務(wù)三個(gè)部分組成，為商家提供業(yè)務(wù)對(duì)接、產(chǎn)品升級(jí)、技能培訓(xùn)等服務(wù)。

發(fā)布企業(yè)級(jí)區(qū)塊鏈應(yīng)用平臺(tái)

發(fā)布會(huì)最后環(huán)節(jié)，京東還發(fā)布了兩大企業(yè)級(jí)區(qū)塊鏈領(lǐng)域應(yīng)用平臺(tái)：

面向消費(fèi)品和醫(yī)藥行業(yè)推出的區(qū)塊鏈防偽追溯平臺(tái)能幫助消費(fèi)品行業(yè)建立全程的信息防偽追溯，并滿足企業(yè)多樣化的數(shù)字分析及營銷需求；推動(dòng)醫(yī)藥領(lǐng)域建立透明、安全、高效的管理機(jī)制，實(shí)現(xiàn)疫苗、藥品、醫(yī)療器械等的追溯能力。

區(qū)塊鏈存證平臺(tái)可通過自動(dòng)化取證、可信存證、一鍵舉證、侵權(quán)預(yù)警等能力，應(yīng)用于多種同信任關(guān)聯(lián)的場(chǎng)景中，助力構(gòu)建信任經(jīng)濟(jì)大環(huán)境。

此外，京東在論壇上還推出了具有自主知識(shí)產(chǎn)權(quán)的企業(yè)級(jí)區(qū)塊鏈框架系統(tǒng)——JD CHAIN。

據(jù)介紹，其交易處理達(dá)到萬級(jí)TPS，交易確認(rèn)縮短至秒級(jí)；基于可動(dòng)態(tài)伸縮的賬本存儲(chǔ)設(shè)計(jì)支持海量賬戶和交易；支持多核并行的高性能密碼算法，并且，該框架系統(tǒng)將在2019年1季度開源。