隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)應(yīng)用的快速發(fā)展，數(shù)據(jù)呈現(xiàn)爆發(fā)式增長趨勢，一方面數(shù)據(jù)規(guī)模的膨脹導(dǎo)致傳統(tǒng)的關(guān)系型數(shù)據(jù)庫無法滿足存儲和查詢的實(shí)時(shí)性要求，另一方面數(shù)據(jù)結(jié)構(gòu)出現(xiàn)多樣化，各種不同類型的數(shù)據(jù)庫并行交互，數(shù)據(jù)流轉(zhuǎn)和融合處理難度加大，成本上升。

為了滿足企業(yè)數(shù)字化轉(zhuǎn)型的需求，企業(yè)一方面需要在確保安全和隱私的前提下開放自身的業(yè)務(wù)數(shù)據(jù)，另一方面需要接入大量的互聯(lián)網(wǎng)、物聯(lián)網(wǎng)數(shù)據(jù)，提升數(shù)據(jù)的代表性和泛化能力，為此需要為數(shù)據(jù)共享和分析規(guī)劃統(tǒng)一的大規(guī)模異構(gòu)數(shù)據(jù)處理平臺，實(shí)現(xiàn)資源的統(tǒng)一調(diào)度，兼容數(shù)據(jù)格式，實(shí)現(xiàn)存儲和計(jì)算并行，統(tǒng)一用戶開發(fā)接口，滿足數(shù)據(jù)流轉(zhuǎn)和融合處理需求，提高業(yè)務(wù)的實(shí)時(shí)性和安全性，快速實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型目標(biāo)。

總的來說，異構(gòu)大數(shù)據(jù)的處理難點(diǎn)主要在于如何滿足以下三點(diǎn)需求：

1.數(shù)據(jù)海量多樣：

現(xiàn)代大數(shù)據(jù)應(yīng)用中，不僅數(shù)據(jù)量大，數(shù)據(jù)類型也紛繁復(fù)雜。一個(gè)企業(yè)擁有眾多不同系統(tǒng)產(chǎn)生的各種異構(gòu)數(shù)據(jù)，這些數(shù)據(jù)需要有統(tǒng)一的存儲手段和索引工具。

大數(shù)據(jù)

2.高效查詢分析：

只有對數(shù)據(jù)進(jìn)行高效的查詢和分析，才能通過歷史數(shù)據(jù)了解過去，通過實(shí)時(shí)數(shù)據(jù)感知現(xiàn)在，將兩者結(jié)合起來提取和挖掘有效信息從而洞察未來。

3.便捷展示分享：

在面對復(fù)雜多變的業(yè)務(wù)需求和問題時(shí)，需要能靈活便捷地展示和分享分析結(jié)果，才可以幫助用戶快速實(shí)現(xiàn)數(shù)據(jù)到價(jià)值的轉(zhuǎn)變。

因此，一種支持對海量異構(gòu)數(shù)據(jù)進(jìn)行高效存儲索引、查詢分析和便捷展示的數(shù)據(jù)處理方式成為了企業(yè)的迫切需求。為了滿足這一需求，下秒數(shù)據(jù)平臺作為新一代數(shù)據(jù)分析平臺，首先在國內(nèi)自主實(shí)現(xiàn)了數(shù)據(jù)集成和數(shù)據(jù)流程自動化解決方案，并將真正助力企業(yè)的數(shù)字化轉(zhuǎn)型。那么，下秒數(shù)據(jù)究竟是怎么做到的呢？本文將重點(diǎn)介紹下秒數(shù)據(jù)對于解決多源異構(gòu)數(shù)據(jù)處理探索和實(shí)踐。

Nexadata會提供預(yù)集成的模塊。比如，Nexadata會和用友、騰訊廣告、旺店通等應(yīng)用的數(shù)據(jù)集成好，通過API進(jìn)行所需數(shù)據(jù)的對接。在客戶所需數(shù)據(jù)得以集成到數(shù)據(jù)倉庫后，Nexadata會幫助進(jìn)行數(shù)據(jù)建模。在具體落地上，Nexadata會針對每個(gè)平臺打造專門的連接器用以對接數(shù)據(jù)，并在對接好數(shù)據(jù)之后，再通過各個(gè)行業(yè)的特點(diǎn)，進(jìn)行場景化建模（如客戶在騰訊、頭條、快手等不同平臺投放廣告后，系統(tǒng)會屏蔽不同平臺的差異，自動整理諸如PV、UV等指標(biāo)形成統(tǒng)一的roi模型），輔助客戶業(yè)務(wù)。

另外，Nexadata還有一個(gè)功能，即數(shù)據(jù)回傳。在具體應(yīng)用場景上，，Nexadata可以將各個(gè)數(shù)據(jù)自動流轉(zhuǎn)到企業(yè)業(yè)務(wù)系統(tǒng)，比如可以將電商平臺的各種訂單數(shù)據(jù)，轉(zhuǎn)儲到企業(yè)數(shù)據(jù)庫，再按指定業(yè)務(wù)邏輯自動推送單據(jù)到ERP/MES系統(tǒng)自動串聯(lián)生產(chǎn)環(huán)節(jié)。整體來看，ELT+Ａ，可以提升企業(yè)客戶使用數(shù)據(jù)的效率，數(shù)據(jù)回傳可以增加企業(yè)客戶利用數(shù)據(jù)的場景，并增加數(shù)據(jù)使用的實(shí)時(shí)性——這兩個(gè)功能也是公司強(qiáng)調(diào)的，"智能數(shù)據(jù)管道"的具體體現(xiàn)。

審核編輯 黃昊宇