南京錄信數(shù)軟是研究針對(duì)大數(shù)據(jù)行業(yè)使用的數(shù)據(jù)庫(kù)產(chǎn)品，我們是做數(shù)據(jù)存儲(chǔ)的，比較常見(jiàn)的炫酷的查詢界面，比如說(shuō)建立一些用戶畫像、人物畫像，我們是給他們提供快速的統(tǒng)計(jì)分析能力的。那么，今天主要講的是大數(shù)據(jù)在人車互聯(lián)時(shí)代的作用。

隨著汽車的數(shù)量越來(lái)越多，汽車成為我們生活中越來(lái)越不可缺少的一部分，汽車保有量已經(jīng)達(dá)到2億左右。過(guò)去很長(zhǎng)一段時(shí)間我們只是針對(duì)大數(shù)據(jù)對(duì)人的作用，如果2億左右的汽車個(gè)體能夠主動(dòng)發(fā)送一些信息，這個(gè)數(shù)據(jù)量是非?？捎^的，由此所產(chǎn)生的一些統(tǒng)計(jì)信息，也能反作用于車輛的生產(chǎn)和提高出行的質(zhì)量。

隨著車聯(lián)網(wǎng)的迅速發(fā)展，基于OBD基礎(chǔ)上的車載信息采集終端技術(shù)日益成熟，汽車大數(shù)據(jù)應(yīng)運(yùn)而生。通過(guò)T-Box采集的數(shù)據(jù)可以應(yīng)用于各個(gè)行業(yè)，通過(guò)對(duì)數(shù)據(jù)的統(tǒng)計(jì)和分析，可以應(yīng)用于經(jīng)銷商、主機(jī)廠商以及國(guó)家監(jiān)管部門，最近熱門的話題是隨著國(guó)家國(guó)六標(biāo)準(zhǔn)的出臺(tái)，國(guó)家要對(duì)每臺(tái)汽車的尾氣排放進(jìn)行監(jiān)管，這也屬于T-Box數(shù)據(jù)采集的方向。包括車主和駕駛者，車主可以了解車輛的及時(shí)狀態(tài)。

我們主要是對(duì)T-Box的數(shù)據(jù)采集進(jìn)行存儲(chǔ)的。T-Box將數(shù)據(jù)上傳到服務(wù)器或者云平臺(tái)，國(guó)家監(jiān)管機(jī)構(gòu)、車廠商、經(jīng)銷商或者車主去里面獲取相關(guān)的信息，車主可以通過(guò)APP獲得數(shù)據(jù)，監(jiān)管部門或者是廠商會(huì)通過(guò)web界面來(lái)獲取信息。

今天討論的是數(shù)據(jù)存儲(chǔ)和查詢界面使用的即席檢索。所謂即席檢索，就是想查什么就查什么，數(shù)據(jù)在入庫(kù)時(shí)不需要做預(yù)統(tǒng)計(jì)和預(yù)計(jì)算，預(yù)計(jì)算的缺點(diǎn)是沒(méi)有做預(yù)計(jì)算的維度是不能查詢的，而且預(yù)統(tǒng)計(jì)比較消耗系統(tǒng)資源。我們的產(chǎn)品可以實(shí)現(xiàn)對(duì)原始一份數(shù)據(jù)即席查詢，在千億級(jí)別上實(shí)現(xiàn)秒級(jí)響應(yīng)。我們的產(chǎn)品定位是一款單機(jī)即可支撐500億條數(shù)據(jù)的秒級(jí)檢索分析響應(yīng)型數(shù)據(jù)庫(kù)。特點(diǎn)：無(wú)限線性擴(kuò)展、4臺(tái)可支撐千億條、百臺(tái)可支撐萬(wàn)億條。

隨著汽車數(shù)量逐年增長(zhǎng)，車載終端所產(chǎn)生的數(shù)據(jù)量是非常巨大的，我們通過(guò)一些合作的客戶來(lái)看，一個(gè)主機(jī)廠商一年所能達(dá)到的數(shù)據(jù)量在20萬(wàn)億，數(shù)據(jù)可以達(dá)到PB級(jí)別，當(dāng)前市場(chǎng)上流行的大數(shù)據(jù)框架，在這個(gè)數(shù)據(jù)級(jí)別上進(jìn)行快速的統(tǒng)計(jì)分析是沒(méi)有完美解決方案的。如果對(duì)數(shù)據(jù)進(jìn)行長(zhǎng)久存儲(chǔ)，三年就要達(dá)到60萬(wàn)億的數(shù)據(jù)量，傳統(tǒng)的數(shù)據(jù)庫(kù)已經(jīng)吃不消了。萬(wàn)億數(shù)據(jù)怎么存儲(chǔ)呢？可能在數(shù)據(jù)量比較大的時(shí)候，我們會(huì)想到Hadoop生態(tài)系統(tǒng)，它是開(kāi)源的，它就是通過(guò)整合單機(jī)資源，堆積單節(jié)點(diǎn)的計(jì)算能力，達(dá)到比較好的整體算力。它的一個(gè)缺點(diǎn)就是它要對(duì)全量數(shù)據(jù)做掃描，全量掃描就會(huì)有一個(gè)問(wèn)題，需要更多的硬件滿足算力的要求，所以它的硬件成本還是比較高的，雖然說(shuō)每臺(tái)硬件成本是配置比較低的普通服務(wù)器，但是整體的成本還是比較高的。

有沒(méi)有這么一種可能性，在海量數(shù)據(jù)的基礎(chǔ)上，建立一層索引，可以減少掃描的數(shù)據(jù)量，從而降低硬件成本的要求。

如上圖，這個(gè)框架大家比較熟悉，除了紅框里面的部分，我們現(xiàn)在把它改成我們自研的索引引擎，數(shù)據(jù)篩查的時(shí)候經(jīng)過(guò)這個(gè)索引引擎，首先過(guò)濾掉一大部分?jǐn)?shù)據(jù)量，是在很小的數(shù)據(jù)量中進(jìn)行檢索，所需要的硬件資源已經(jīng)少了很多。我們?yōu)榱嗽黾铀趶?fù)雜統(tǒng)計(jì)場(chǎng)景下的性能，我們將spark框架集成在內(nèi)，這是基于內(nèi)存的一個(gè)計(jì)算框架。我們與開(kāi)源的spark框架還不同，開(kāi)源的spark框架對(duì)文本文件沒(méi)有過(guò)濾，優(yōu)化過(guò)的spark框架最終是和索引引擎進(jìn)行數(shù)據(jù)交換的。無(wú)論是通過(guò)索引引擎直接查，還是通過(guò)spark計(jì)算框架查，都比原生地要快很多，在某些場(chǎng)景上，已經(jīng)快了幾百倍。它的底層還是建立在Hadoop基礎(chǔ)上。對(duì)外部的數(shù)據(jù)接入，可以傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)MySQL、Oracle，也可以通過(guò)Kafka實(shí)時(shí)消費(fèi)。數(shù)據(jù)從產(chǎn)生到可查只需2-3分鐘。

我們對(duì)外提供的場(chǎng)景接口也很豐富，有HiveSQL，或者通過(guò)JDBC，或者通過(guò)Webservice的方式。

索引+大數(shù)據(jù)，由于在運(yùn)算的時(shí)候可以減少掃描的數(shù)據(jù)量，進(jìn)而可以減少機(jī)器臺(tái)數(shù)的要求，原生的架構(gòu)大量的機(jī)器堆積不僅僅為了存儲(chǔ)，而是它的計(jì)算能力不夠，可能每臺(tái)機(jī)器存儲(chǔ)只用了一部分，但是每臺(tái)機(jī)器的計(jì)算能力已經(jīng)用滿了。我們從減少數(shù)據(jù)加載量的角度優(yōu)化，可以減少機(jī)器臺(tái)數(shù)。

還有一個(gè)就是數(shù)據(jù)熱點(diǎn)的問(wèn)題，很多場(chǎng)景下都會(huì)對(duì)最近幾天的數(shù)據(jù)比較關(guān)注，比如說(shuō)最近幾天的消費(fèi)數(shù)據(jù)、新聞、網(wǎng)頁(yè)瀏覽，都屬于熱點(diǎn)數(shù)據(jù)，查詢頻率比較高，針對(duì)這樣的數(shù)據(jù)特點(diǎn)，我們采用了冷熱數(shù)據(jù)分離。冷熱數(shù)據(jù)分離可以做到什么好處呢？查詢頻率比較高的數(shù)據(jù)，我把它放到SSD固態(tài)硬盤上，可以提升數(shù)據(jù)加載的速度，過(guò)一段時(shí)間之后，這個(gè)數(shù)據(jù)查詢沒(méi)那么高了，可以把它放到機(jī)械硬盤上。這樣可以既兼顧了查詢的速度，也兼顧了成本。

還有我們針對(duì)每個(gè)數(shù)據(jù)類型，有專門的壓縮格式，可以減少硬盤的存儲(chǔ)。

上圖是我們?cè)谝粋€(gè)真實(shí)的項(xiàng)目遇到的情況，它的數(shù)據(jù)量也是達(dá)到萬(wàn)億級(jí)別。這是對(duì)開(kāi)源系統(tǒng)和索引+大數(shù)據(jù)系統(tǒng)的對(duì)比。首先是硬件成本，很明顯機(jī)器臺(tái)數(shù)已經(jīng)降到之前的1/5，對(duì)硬件配置的要求也有很大的下降。還有就是人力成本，之前有三套系統(tǒng)，有做統(tǒng)計(jì)分析的mapreduce集群、有做實(shí)時(shí)檢索的hbase、還有建立二級(jí)索引的ES，三套系統(tǒng)保存三份數(shù)據(jù)，數(shù)據(jù)膨脹率很高，而且三套集群，4種完全不同的風(fēng)格的API，對(duì)開(kāi)發(fā)的要求很高。索引+大數(shù)據(jù)的架構(gòu)，它對(duì)外是統(tǒng)一的SQL接口，通過(guò)sql語(yǔ)句來(lái)進(jìn)行交互，極大的減少人力成本。

我們的數(shù)據(jù)存儲(chǔ)還是建立在HDFS上，實(shí)時(shí)檢索相比目前主流的檢索框架來(lái)說(shuō)，它繼承了很多HDFS的特點(diǎn)，比如說(shuō)磁盤容錯(cuò)，某些情況下磁盤突然壞掉了，或者速度變慢，磁盤容錯(cuò)能夠自動(dòng)發(fā)現(xiàn)，自動(dòng)遷移到速度比較快的副本上面，然后自動(dòng)讀取。還有一個(gè)是IO管控，如果某個(gè)查詢需要的資源非常高，已經(jīng)影響到服務(wù)的性能，可以隨時(shí)中斷這個(gè)任務(wù)，從而保證整個(gè)服務(wù)可查。還有比較重要的是數(shù)據(jù)快照，有時(shí)候數(shù)據(jù)不小心刪掉了，我們提供數(shù)據(jù)快照的功能，在短時(shí)間內(nèi)可以對(duì)大量的數(shù)據(jù)創(chuàng)建快照，1P數(shù)據(jù)只需要2秒鐘創(chuàng)建。

檢索分析場(chǎng)景，基于車載T-Box產(chǎn)生的數(shù)據(jù)，對(duì)各個(gè)行業(yè)的統(tǒng)計(jì)是非常復(fù)雜的。國(guó)家監(jiān)管機(jī)構(gòu)可能要對(duì)尾氣排放進(jìn)行監(jiān)控，對(duì)車輛實(shí)時(shí)軌跡、位置進(jìn)行監(jiān)管，還有通過(guò)駕駛員的駕駛習(xí)慣，比如說(shuō)急剎車、急轉(zhuǎn)彎，對(duì)駕駛員進(jìn)行教導(dǎo)。對(duì)車廠商來(lái)說(shuō)市場(chǎng)上車輛各組件性能損耗的多維分析，比如說(shuō)汽車的每個(gè)功能組件損耗到什么程度，然后用于改善生產(chǎn)。經(jīng)銷商可以建立用戶畫像，某一型號(hào)車輛在全國(guó)各個(gè)省的分布情況，可以用于精準(zhǔn)營(yíng)銷。對(duì)車主來(lái)說(shuō)，需要掌握車輛的整體狀態(tài)。

對(duì)各個(gè)行業(yè)來(lái)說(shuō)，數(shù)據(jù)的統(tǒng)計(jì)分析是非常復(fù)雜的，在大量的數(shù)據(jù)基礎(chǔ)上進(jìn)行這么復(fù)雜的分析，是一個(gè)很大的挑戰(zhàn)。在索引+大數(shù)據(jù)的框架下，無(wú)論是檢索還是統(tǒng)計(jì)分析，查詢性相比較開(kāi)源都有很大幅度的提升，但是在某些具體場(chǎng)景，我們也是有一些特定的優(yōu)化的。比如說(shuō)一些軌跡類的查詢，像軌跡回放，要求是在過(guò)去的某一段時(shí)間，對(duì)某一個(gè)車輛進(jìn)行軌跡的檢索，將軌跡信息實(shí)時(shí)展示在地圖上面，用于一些軌跡監(jiān)控之類的。

這個(gè)數(shù)據(jù)其實(shí)就是經(jīng)緯度字段在界面上展示，至于這個(gè)界面做到多炫酷，那是界面的事情，我們是提供數(shù)據(jù)快速查詢的能力。還有就是區(qū)域查車，在地圖上可以人為圈定一個(gè)規(guī)則的圓形或者矩形，或者不規(guī)則的多邊形，可以監(jiān)控這個(gè)圖形范圍內(nèi)的車輛信息，出來(lái)的也是經(jīng)緯度的信息。值得一提的是目前開(kāi)源解決方案對(duì)不規(guī)則的多邊形支持并不友好，有些并不支持，我們通過(guò)改善空間地圖位置索引的結(jié)構(gòu)，就能很好地支持這種不規(guī)則多邊形的索引。

其實(shí)這兩種軌跡類的查詢，只是對(duì)經(jīng)緯度字段的查詢度比較高，其它的字段不查詢。針對(duì)一個(gè)表中某幾個(gè)字段查詢比較高的情況，是不是有其它的方案呢？列簇和異構(gòu)是比較好的解決方法。列簇是說(shuō)，一張表里面有幾個(gè)列，它的保存周期、存儲(chǔ)格式不同，就可以把相同生命周期的數(shù)據(jù)或者是相同存儲(chǔ)格式的數(shù)據(jù)保存在一個(gè)目錄里面，后期進(jìn)行數(shù)據(jù)淘汰或者增加壓縮比。然后是異構(gòu)，根據(jù)數(shù)據(jù)的重要程度，選擇在保存在不同的存儲(chǔ)介質(zhì)上，如果使用頻率不高的，可以保存在機(jī)械硬盤上。那么軌跡類的查詢，就可以把經(jīng)緯度字段放在比較好的硬盤上，獲得好的數(shù)據(jù)加載性能。等過(guò)了一段時(shí)間，數(shù)據(jù)會(huì)自動(dòng)遷移到一些廉價(jià)的硬盤上。

在軌跡類查詢方面，比如說(shuō)想查詢某個(gè)車牌號(hào)或者某個(gè)手機(jī)號(hào)今天的軌跡信息，一般的做法就是針對(duì)時(shí)間字段做排序，然后取最新的幾條，在萬(wàn)億數(shù)據(jù)基礎(chǔ)上做排序，是一件很頭疼的事情，我們針對(duì)大數(shù)據(jù)量的TOP N的排序也做了優(yōu)化，目前業(yè)界主要做的是一條一條暴力掃描，將數(shù)據(jù)加載之后再獲取TOPN。我們所做的針對(duì)排序的數(shù)據(jù)結(jié)構(gòu)是叫tired tree，它是針對(duì)數(shù)值類型的排序，比如整型int是四個(gè)字節(jié)，那么，先根據(jù)第一個(gè)字節(jié)建立索引，然后再根據(jù)第一、二個(gè)字節(jié)建立索引，之后再根據(jù)第一、二、三個(gè)字節(jié)建立索引，最后對(duì)全量數(shù)據(jù)建立索引，通過(guò)對(duì)相同前綴建立索引，可以獲得較好的性能。比如要查詢423這個(gè)值，首先去查4，定位到4，之后5、6就不查了。然后定位42，44就不需要查詢了，之后再直接找到423，經(jīng)過(guò)幾次的查詢，和全量掃描最底層所有的記錄來(lái)說(shuō)，已經(jīng)高效了不少，當(dāng)然這里的數(shù)據(jù)量比較少，我們看不出來(lái)有多么高效。如果我要找TOP N，我可以直接定位到這個(gè)數(shù)值前面最大的前綴，這里是6，找到6之后，我可以找到64下面的，直接返回了。它可以通過(guò)索引直接定位到TOPN個(gè)結(jié)果，無(wú)序額外計(jì)算，只需作TOP N排序，避免讀取全量數(shù)據(jù)。通過(guò)這種高效排序和異構(gòu)+索引在軌跡類的查詢，可以做到很好的性能提升。

在海量數(shù)據(jù)上進(jìn)行多維的數(shù)據(jù)統(tǒng)計(jì)和分析，進(jìn)而建立用戶畫像也是一個(gè)常用的業(yè)務(wù)場(chǎng)景，比如說(shuō)可以根據(jù)車輛的報(bào)警信息，做出一個(gè)報(bào)警的分布圖，也可以根據(jù)用戶的急加速、急減速行為做出一個(gè)統(tǒng)計(jì)結(jié)果，根據(jù)用戶的屬性分類，建立一個(gè)用戶畫像。包括某個(gè)車輛在全國(guó)的銷售情況，后期用于精準(zhǔn)營(yíng)銷，提供一些判斷的依據(jù)，對(duì)各個(gè)維度的信息進(jìn)行多維的統(tǒng)計(jì)分析，本來(lái)不是一件特別難的事情，當(dāng)數(shù)據(jù)量小的時(shí)候，在Oracle、MySQL里面就可以做，如果放到千億級(jí)別、萬(wàn)億級(jí)別就很頭疼。目前開(kāi)源是怎么解決這個(gè)問(wèn)題的呢？

它把過(guò)濾之后的數(shù)據(jù)全部加載到內(nèi)存，通過(guò)拼I/O資源和CPU資源，人為地做一些聚合、分組統(tǒng)計(jì)，這個(gè)性能還是依賴硬件。我們對(duì)這個(gè)業(yè)務(wù)場(chǎng)景做的一個(gè)調(diào)優(yōu)是我們?cè)谌霂?kù)的時(shí)候，就對(duì)我們所要統(tǒng)計(jì)的某些字段進(jìn)行預(yù)排序，干預(yù)它的排序規(guī)則，比如要對(duì)一個(gè)表里面有三個(gè)字段city_id、age、score進(jìn)行統(tǒng)計(jì)分析，數(shù)據(jù)存儲(chǔ)的時(shí)候，就是按照這種group by 的順序來(lái)存儲(chǔ)，那么遇到這種查詢的時(shí)候，就可以直接獲取到后面的數(shù)據(jù)，就不需要重新計(jì)算。如果某個(gè)統(tǒng)計(jì)分析后面加上檢索條件，也不需要做全列掃描，通過(guò)在真實(shí)數(shù)據(jù)基礎(chǔ)上創(chuàng)建一個(gè)二級(jí)的跳躍表結(jié)構(gòu)，每一個(gè)節(jié)點(diǎn)上會(huì)記錄當(dāng)前區(qū)域里面的最大值和最小值。通過(guò)第一層可以找到第二層，第二層縮小到更小的區(qū)間，在千億甚至萬(wàn)億的數(shù)據(jù)里面，最后篩選的數(shù)據(jù)量就很少，可以極大地過(guò)濾掉數(shù)據(jù)，加載數(shù)據(jù)的內(nèi)容很小，釋放很多的I/O資源。用戶可以根據(jù)需求自定義任意維度，快速統(tǒng)計(jì)。當(dāng)然它和預(yù)計(jì)算、預(yù)統(tǒng)計(jì)是有區(qū)別的，預(yù)計(jì)算的容量更重，它需要占用的CPU資源更高。

在這種統(tǒng)計(jì)分析場(chǎng)景下，如果某一個(gè)時(shí)刻，入庫(kù)壓力比較大，而且查詢的頻率又比較高，這個(gè)時(shí)候一個(gè)進(jìn)程既承擔(dān)讀也承擔(dān)寫就成為整個(gè)系統(tǒng)的瓶頸。那么一主多從可以實(shí)現(xiàn)讀寫分離，提高效率。

主節(jié)點(diǎn)負(fù)責(zé)數(shù)據(jù)寫入，多個(gè)從節(jié)點(diǎn)承擔(dān)讀的壓力，它和我們熟知的My SQL主動(dòng)復(fù)制有區(qū)別，MySQL主動(dòng)復(fù)制是每個(gè)節(jié)點(diǎn)各保存一份數(shù)據(jù)，比如說(shuō)一主三從，它有4份數(shù)據(jù)，而且主和從之間有數(shù)據(jù)同步的過(guò)程，也是存在延時(shí)的。上面的一主多從架構(gòu)只保留一份數(shù)據(jù)，它沒(méi)有數(shù)據(jù)冗余，減少磁盤存儲(chǔ)。在大量的數(shù)據(jù)更新、新增時(shí)主節(jié)點(diǎn)和從節(jié)點(diǎn)沒(méi)有任何的延時(shí)。

上表是開(kāi)源系統(tǒng)和索引+大數(shù)據(jù)系統(tǒng)的在查詢方面一個(gè)直觀的對(duì)比圖。開(kāi)源方案如果要實(shí)現(xiàn)多維統(tǒng)計(jì)，多個(gè)表的表關(guān)聯(lián)，或者一個(gè)表的多列的復(fù)雜的分組統(tǒng)計(jì)，需要使用離線集群跑MR任務(wù)，它的一份數(shù)據(jù)要存在三套系統(tǒng)里面，數(shù)據(jù)膨脹是很大的。索引+大數(shù)據(jù)的框架僅需要維護(hù)一套系統(tǒng)，這一套系統(tǒng)既可以用于檢索，也可以用于統(tǒng)計(jì)。體驗(yàn)對(duì)比，Hbase只能查預(yù)計(jì)算維度，時(shí)效性差、數(shù)據(jù)膨脹率高。系統(tǒng)各自獨(dú)立，無(wú)法實(shí)現(xiàn)協(xié)同查詢，如果想要玩轉(zhuǎn)這三套系統(tǒng)，技術(shù)要求是比較高的，數(shù)據(jù)量過(guò)億后，無(wú)法實(shí)現(xiàn)統(tǒng)計(jì)分析。對(duì)比下來(lái)索引+大數(shù)據(jù)，數(shù)據(jù)從產(chǎn)生到可查只需要2到3分鐘，而且多種數(shù)據(jù)可以相互引用，相互組合過(guò)濾，并且支持任意維度的快速分析統(tǒng)計(jì)。

下面介紹一下錄信數(shù)軟的產(chǎn)品。我們的產(chǎn)品就是想解決當(dāng)前大數(shù)據(jù)行業(yè)所存在的一些痛點(diǎn)。

第一是成本高。目前想要在純檢索的情況下，實(shí)現(xiàn)千億量級(jí)的統(tǒng)計(jì)分析，需要100臺(tái)SSD機(jī)器，在這種情況下，索引+大數(shù)據(jù)的框架可以節(jié)省60%-70%的硬件成本，包括機(jī)器臺(tái)數(shù)和硬件配置。

第二是時(shí)效性的問(wèn)題，目前的行業(yè)現(xiàn)狀是進(jìn)行大數(shù)據(jù)分析統(tǒng)計(jì)，數(shù)據(jù)量是T+1天可查，它有時(shí)間間隔，復(fù)雜業(yè)務(wù)可能要達(dá)到一到兩個(gè)小時(shí)甚至更長(zhǎng)時(shí)間。索引+大數(shù)據(jù)從產(chǎn)生到可查詢只需要幾分鐘，多維多表的統(tǒng)計(jì)分析可以達(dá)到秒級(jí)。

第三是易用性比較差，目前大數(shù)據(jù)的框架一般Hadoop+hbase+ES，它需要多份數(shù)據(jù)、多種業(yè)務(wù)接口，上手復(fù)雜。索引+大數(shù)據(jù)是多種業(yè)務(wù)一套數(shù)據(jù)庫(kù)一站式解決。

我們不是提供通用的解決方案，我們是根據(jù)用戶的需求，解決具體的問(wèn)題。今天介紹的是車聯(lián)網(wǎng)領(lǐng)域的應(yīng)用，其實(shí)大數(shù)據(jù)是無(wú)處不在的，數(shù)據(jù)的價(jià)值也越來(lái)越被重視，尤其在當(dāng)今的國(guó)際背景下，國(guó)產(chǎn)數(shù)據(jù)庫(kù)任重而道遠(yuǎn)，感謝大家！