摘要

我們將從大數(shù)據(jù)的概念、核心技術(shù)、特點(diǎn)、通用應(yīng)用這4個(gè)方面對(duì)大數(shù)據(jù)進(jìn)行闡述。

01 大數(shù)據(jù)概念

數(shù)據(jù)發(fā)展推動(dòng)科技進(jìn)步，海量數(shù)據(jù)給數(shù)據(jù)分析帶來(lái)了新的機(jī)遇和挑戰(zhàn)。大數(shù)據(jù)是一種強(qiáng)大到在獲取、存儲(chǔ)、管理、分析方面遠(yuǎn)遠(yuǎn)超出傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類(lèi)型和較低的價(jià)值密度這四大特征。

于是，我們需要新的處理模式來(lái)實(shí)現(xiàn)更強(qiáng)的數(shù)據(jù)處理能力以應(yīng)對(duì)多樣化的信息資產(chǎn)。

大數(shù)據(jù)技術(shù)追求的不是精確性的樣本數(shù)據(jù)，而是面向全體的數(shù)據(jù)，這部分?jǐn)?shù)據(jù)可能是不精確的、非結(jié)構(gòu)化的，但大數(shù)據(jù)技術(shù)正是利用這些之前未被利用的數(shù)據(jù)，創(chuàng)造新的價(jià)值。

從海量數(shù)據(jù)中獲得的數(shù)據(jù)處理結(jié)果可能是超乎我們的認(rèn)知邏輯的，但是我們并不需要理解結(jié)果背后的因果關(guān)系。簡(jiǎn)言之，我們需要用相關(guān)思維替代因果思維。

02 大數(shù)據(jù)核心技術(shù)

大數(shù)據(jù)在信息系統(tǒng)的生命周期中，從數(shù)據(jù)源到最終產(chǎn)生有價(jià)值的可視化信息，主要經(jīng)歷6個(gè)步驟，分別是數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、資源管理與服務(wù)協(xié)調(diào)、計(jì)算框架確定、數(shù)據(jù)分析和數(shù)據(jù)可視化，此過(guò)程涵蓋了海量分布式系統(tǒng)、數(shù)據(jù)庫(kù)、并行計(jì)算框架、數(shù)據(jù)挖掘等方面的技術(shù)。

圖2-1羅列了大數(shù)據(jù)技術(shù)中各個(gè)步驟目前所對(duì)應(yīng)的主流技術(shù)體系，大數(shù)據(jù)的相關(guān)技術(shù)日新月異、層出不窮，由于篇幅限制，不再一一列舉。

▲圖2-1 大數(shù)據(jù)的主流技術(shù)體系

03 大數(shù)據(jù)特點(diǎn)

大數(shù)據(jù)具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類(lèi)型和較低的價(jià)值密度這四大特征，下面將分別進(jìn)行詳細(xì)闡述。

1. 海量的數(shù)據(jù)規(guī)模（Volume）

大數(shù)據(jù)所采集、存儲(chǔ)和計(jì)算的數(shù)據(jù)規(guī)模都非常大。隨著互聯(lián)網(wǎng)的廣泛應(yīng)用，使用互聯(lián)網(wǎng)的人和企業(yè)等增多，數(shù)據(jù)的創(chuàng)造者變多，數(shù)據(jù)量呈幾何級(jí)增長(zhǎng)。近年來(lái)，隨著數(shù)據(jù)維度變多、數(shù)據(jù)類(lèi)型增加、數(shù)據(jù)的描述能力增強(qiáng)，數(shù)據(jù)可以傳達(dá)的信息也越來(lái)越多，越來(lái)越準(zhǔn)確。

2. 快速的數(shù)據(jù)流轉(zhuǎn)（Velocity）

大數(shù)據(jù)不僅增長(zhǎng)速度快，處理速度也快，有很強(qiáng)的時(shí)效性。在信息時(shí)代，人成為網(wǎng)絡(luò)的核心，每個(gè)人每天都在制造新的數(shù)據(jù)，這些數(shù)據(jù)再被相應(yīng)的機(jī)構(gòu)如政府、互聯(lián)網(wǎng)企業(yè)、銀行、電信運(yùn)營(yíng)商等收集，形成了一個(gè)個(gè)龐大的數(shù)據(jù)體系。

面對(duì)如此龐大的數(shù)據(jù)體系，處理數(shù)據(jù)并得到結(jié)果的速度越快，數(shù)據(jù)的時(shí)效性就越強(qiáng)，價(jià)值就越高——而大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)挖掘最大的區(qū)別也在于此，大數(shù)據(jù)更強(qiáng)調(diào)數(shù)據(jù)處理的實(shí)時(shí)性和時(shí)效性。

3. 多樣的數(shù)據(jù)類(lèi)型（Variety）

大數(shù)據(jù)的種類(lèi)和來(lái)源多樣化，多樣的數(shù)據(jù)為數(shù)據(jù)處理帶來(lái)了挑戰(zhàn)。在數(shù)據(jù)結(jié)構(gòu)上，大數(shù)據(jù)可以分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；在具體形式上，大數(shù)據(jù)可以分為視頻、音頻、圖像、博客、社交網(wǎng)絡(luò)、互聯(lián)網(wǎng)搜索等。大數(shù)據(jù)迎接的挑戰(zhàn)就是要針對(duì)這些結(jié)構(gòu)不一、形式多樣的數(shù)據(jù)，挖掘其中的相關(guān)性。而這些前所未有的、來(lái)自各個(gè)領(lǐng)域的、不同形式的數(shù)據(jù)，賦予了大數(shù)據(jù)強(qiáng)大的威力。

4. 較低的價(jià)值密度（Value）

大數(shù)據(jù)的價(jià)值密度相對(duì)較低。數(shù)據(jù)的價(jià)值密度和數(shù)據(jù)的規(guī)模呈反相關(guān)，數(shù)據(jù)的規(guī)模越大，數(shù)據(jù)的價(jià)值密度越低。大數(shù)據(jù)最大的價(jià)值即在于從大量低價(jià)值密度數(shù)據(jù)中挖掘出對(duì)分析和預(yù)測(cè)等有價(jià)值的信息。

相較于傳統(tǒng)數(shù)據(jù)挖掘利用結(jié)構(gòu)化的數(shù)據(jù)類(lèi)型，大數(shù)據(jù)把目光也投向了非結(jié)構(gòu)化的、非抽樣的、包含全體的數(shù)據(jù)類(lèi)型。這為大數(shù)據(jù)帶來(lái)了更多的有效信息，但同時(shí)也增加了大量無(wú)價(jià)值的甚至是錯(cuò)誤的信息。

04 大數(shù)據(jù)的通用應(yīng)用

大數(shù)據(jù)已經(jīng)滲透到了全世界市場(chǎng)中的各個(gè)領(lǐng)域，彰顯著巨大的價(jià)值，其在各個(gè)領(lǐng)域的詳細(xì)應(yīng)用情況如下。

1. 金融領(lǐng)域

大數(shù)據(jù)在金融領(lǐng)域應(yīng)用廣泛，如針對(duì)個(gè)人的信貸風(fēng)險(xiǎn)評(píng)估，銀行根據(jù)用戶(hù)的刷卡、轉(zhuǎn)賬、微信評(píng)論等數(shù)據(jù)有針對(duì)性地推送廣告；理財(cái)軟件通過(guò)大數(shù)據(jù)為客戶(hù)有針對(duì)性地推薦理財(cái)產(chǎn)品?？偨Y(jié)來(lái)說(shuō)，大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用可以概括為精準(zhǔn)營(yíng)銷(xiāo)、風(fēng)險(xiǎn)控制、效率提升、決策支持。

2. 醫(yī)療領(lǐng)域

醫(yī)療行業(yè)擁有大量的病例、檢測(cè)記錄、藥物記錄、治療結(jié)果記錄等，這些數(shù)據(jù)中蘊(yùn)含著巨大的價(jià)值，如果可以加以利用，將對(duì)醫(yī)療界產(chǎn)生不可估量的影響。疾病確診和因人而異的治療方案設(shè)定是醫(yī)療領(lǐng)域的重大問(wèn)題，大數(shù)據(jù)可以幫助建立針對(duì)疾病特點(diǎn)、病人狀況以及治療方案的數(shù)據(jù)庫(kù)，為人類(lèi)健康貢獻(xiàn)巨大的力量。

3. 生物領(lǐng)域

各國(guó)研究人員正如火如荼地推進(jìn)著人類(lèi)基因組計(jì)劃，這促進(jìn)了生物數(shù)據(jù)的爆發(fā)式增長(zhǎng)?；驒z測(cè)可以幫助人們對(duì)自己現(xiàn)在的以及未來(lái)的健康狀況有更深刻、全面的認(rèn)識(shí)，甚至可以幫助父母在寶寶出生前就對(duì)其健康狀況進(jìn)行檢測(cè)。因此，人類(lèi)基因組計(jì)劃是未來(lái)人類(lèi)戰(zhàn)勝疾病的重要工具。

大數(shù)據(jù)可以整合已有的人類(lèi)基因的檢測(cè)結(jié)果并進(jìn)行分析，加速人類(lèi)基因組研究的進(jìn)程。

4. 零售領(lǐng)域

零售行業(yè)可以利用大數(shù)據(jù)了解顧客的消費(fèi)偏好和趨勢(shì)，用以商品的精準(zhǔn)營(yíng)銷(xiāo)和相關(guān)產(chǎn)品的精準(zhǔn)推銷(xiāo)，降低運(yùn)營(yíng)成本，提高進(jìn)貨管理和過(guò)期產(chǎn)品管理效率。大數(shù)據(jù)可以幫助零售商預(yù)測(cè)消費(fèi)者需求趨勢(shì)，更高效地提高供應(yīng)鏈滿(mǎn)足需求的能力。對(duì)大數(shù)據(jù)帶來(lái)的潛在信息的挖掘和有效利用，將成為未來(lái)零售領(lǐng)域的必爭(zhēng)之地。

5. 電商領(lǐng)域

電商行業(yè)的數(shù)據(jù)集中、數(shù)據(jù)規(guī)模大，可以利用大數(shù)據(jù)在很多方面進(jìn)行有效信息的分析提取，如用戶(hù)消費(fèi)趨勢(shì)、地域消費(fèi)特點(diǎn)等。

電商領(lǐng)域中的大數(shù)據(jù)應(yīng)用已經(jīng)頗具規(guī)模，電商也是最早利用大數(shù)據(jù)進(jìn)行精準(zhǔn)營(yíng)銷(xiāo)的行業(yè)。電商可以根據(jù)顧客消費(fèi)習(xí)慣提前備貨以提高商品送達(dá)效率，還可以通過(guò)對(duì)客戶(hù)瀏覽、收藏、加入購(gòu)物車(chē)和購(gòu)買(mǎi)記錄等數(shù)據(jù)的分析，對(duì)用戶(hù)進(jìn)行有效的商品推薦，提高銷(xiāo)量。

關(guān)于作者：王健宗，博士，某大型金融集團(tuán)科技公司資深人工智能總監(jiān)、高級(jí)工程師，中國(guó)計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專(zhuān)家委員會(huì)委員、高級(jí)會(huì)員，美國(guó)佛羅里達(dá)大學(xué)人工智能博士后，曾任美國(guó)萊斯大學(xué)電子與計(jì)算機(jī)工程系研究員、美國(guó)惠普公司高級(jí)云計(jì)算解決方案專(zhuān)家。何安珣，某大型金融集團(tuán)科技公司高級(jí)算法工程師，中國(guó)計(jì)算機(jī)學(xué)會(huì)會(huì)員，中國(guó)計(jì)算機(jī)學(xué)會(huì)青年計(jì)算機(jī)科技論壇（YOCSEF深圳）委員。擁有豐富的金融智能從業(yè)經(jīng)驗(yàn)，主要研究金融智能系統(tǒng)框架搭建、算法研究和模型融合技術(shù)等，致力于推動(dòng)金融智能的落地應(yīng)用與價(jià)值創(chuàng)造。李澤遠(yuǎn)，某大型金融集團(tuán)科技公司高級(jí)人工智能產(chǎn)品經(jīng)理，中國(guó)計(jì)算機(jī)學(xué)會(huì)會(huì)員，長(zhǎng)期致力于金融智能的產(chǎn)品化工作，負(fù)責(zé)技術(shù)服務(wù)類(lèi)的產(chǎn)品生態(tài)搭建與實(shí)施推進(jìn)。

責(zé)任編輯：lq