摘要：?2018 “MaxCompute開發(fā)者交流”釘釘群直播分享，由阿里云數(shù)據(jù)技術(shù)專家彬甫帶來以“數(shù)據(jù)進(jìn)入MaxCompute的N種方式”為題的演講。本文講述了在阿里云內(nèi)部開發(fā)了一個實戰(zhàn)Demo系統(tǒng)，它能夠?qū)崿F(xiàn)自動全鏈路的大數(shù)據(jù)處理流程，其中包括離線的和實時數(shù)據(jù)的，接下來將為大家揭曉實戰(zhàn)Demo系統(tǒng)是怎樣實現(xiàn)自動全鏈路的大數(shù)據(jù)處理流程的。

2018 “MaxCompute開發(fā)者交流”釘釘群直播分享，由阿里云數(shù)據(jù)技術(shù)專家彬甫帶來以“數(shù)據(jù)進(jìn)入MaxCompute的N種方式”為題的演講。本文講述了在阿里云內(nèi)部開發(fā)了一個實戰(zhàn)Demo系統(tǒng)，它能夠?qū)崿F(xiàn)自動全鏈路的大數(shù)據(jù)處理流程，其中包括離線的和實時數(shù)據(jù)的，接下來將為大家揭曉實戰(zhàn)Demo系統(tǒng)是怎樣實現(xiàn)自動全鏈路的大數(shù)據(jù)處理流程的。
數(shù)十款阿里云產(chǎn)品限時折扣中，趕快點(diǎn)擊這里，領(lǐng)券開始云上實踐吧!
直播視頻回顧
PPT下載請點(diǎn)擊
以下內(nèi)容根據(jù)現(xiàn)場分享整理而成。

大數(shù)據(jù)中心的架構(gòu)

上圖為大數(shù)據(jù)實戰(zhàn)Demo的整體架構(gòu)，它的上云方式是離線的。要實現(xiàn)大數(shù)據(jù)實戰(zhàn)Demo的應(yīng)用，架構(gòu)必需包含數(shù)據(jù)源系統(tǒng)、數(shù)據(jù)倉庫、大數(shù)據(jù)應(yīng)用系統(tǒng)平臺、Web/應(yīng)用平臺、流程調(diào)度、數(shù)據(jù)加工及展現(xiàn)、實時處理平臺，其中數(shù)據(jù)倉庫包含臨時層、基礎(chǔ)數(shù)據(jù)層和應(yīng)用層三個層次。
在整個架構(gòu)中，數(shù)據(jù)上云是重中之重，它可以針對不同的數(shù)據(jù)源使用不同的上云方式。
首先，數(shù)據(jù)上云到MAXCOMPUTE(數(shù)據(jù)存儲)大數(shù)據(jù)存儲及處理平臺上，并將數(shù)據(jù)進(jìn)行處理；接著，將數(shù)據(jù)傳輸?shù)脚R時層，再經(jīng)過簡單轉(zhuǎn)換進(jìn)到基礎(chǔ)數(shù)據(jù)層；最后，將數(shù)據(jù)進(jìn)一步匯總到應(yīng)用層進(jìn)而提供服務(wù)。
在這個架構(gòu)中，是通過協(xié)議工具DataWorks、DataX進(jìn)行流程調(diào)度的，通過QuickBI、DataV進(jìn)行數(shù)據(jù)展現(xiàn)的，通過DATEHUB+STREAMCOMPUTE進(jìn)行數(shù)據(jù)處理實時數(shù)據(jù)的，最后系統(tǒng)將處理后的數(shù)據(jù)存放到大數(shù)據(jù)應(yīng)用平臺的RDS里面，并通過QuickBI、DataV進(jìn)行展現(xiàn)。

數(shù)據(jù)上云（同步）方式

數(shù)據(jù)上云有許多種方式，對于MAXCOMPUTE產(chǎn)品而言，它使用的典型的自帶工具有tunnel、dataX、DataWorks，具體介紹如下：

• 使用tunnel：使用tunnel命令可進(jìn)行數(shù)據(jù)的上傳、數(shù)據(jù)的下載、數(shù)據(jù)文件的處理等。

• 使用dataX：dataX是離線數(shù)據(jù)的同步工具，可高效地實現(xiàn)各異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)同步功能，以及把數(shù)據(jù)上傳到MAXCOMPUTE中去。其中，異構(gòu)數(shù)據(jù)源包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、OSS、MaxCompute 等?？傊?，Tunnel工具是非常重要的，如果沒有Tunnel工具，在數(shù)據(jù)同步后數(shù)據(jù)上云到MAXCOMPUTE時會出現(xiàn)不統(tǒng)一的問題，最終造成開發(fā)困難。

• 使用DataWorks：使用DataWorks數(shù)據(jù)集成來定義數(shù)據(jù)同步任務(wù)，通過同步任務(wù)最終達(dá)到數(shù)據(jù)上云的目的。它的模式是向?qū)Ｊ交蚰_本模式，是基于DataX協(xié)議的圖形界面來進(jìn)行操作的。在使用DataWorks進(jìn)行數(shù)據(jù)集成中需要做到四步，第一步，配置數(shù)據(jù)來源（庫和表）和數(shù)據(jù)流向（庫和表）；第二步，對字段映射關(guān)系進(jìn)行配置，且左側(cè)“源表字段”和右側(cè)“宿表字段”為一一對應(yīng)的關(guān)系；第三步，對源表的字段進(jìn)行過濾和數(shù)據(jù)加載控制，但要注意的是對源表的字段進(jìn)行過濾必須在WHERE條件上，且不需要寫WHERE關(guān)鍵字；第四步，對同步速率需進(jìn)行限速控制，切分鍵一般用源表主鍵,當(dāng)容錯記錄數(shù)和比率指超過閾值時，作業(yè)報錯必須終止。最終，使得數(shù)據(jù)上云到MAXCOMPUTE大數(shù)據(jù)存儲及處理平臺上。

實時數(shù)據(jù)上云（同步）方式

Logstash

Logstash是一種分布式日志收集框架，簡潔強(qiáng)大，經(jīng)常與ElasticSearch，Kibana配置組成著名的ELK技術(shù)棧，非常適合用來做日志數(shù)據(jù)的分析。 阿里云流計算為了方便用戶將更多數(shù)據(jù)采集進(jìn)DataHub中，提供了針對Logstash的DataHub Output/Input插件。使用Logstash，便可以輕松享受到Logstash開源社區(qū)多達(dá)30多種數(shù)據(jù)源的支持，同時Logstash還支持filter對傳輸字段進(jìn)行自定義加工等功能。

DataHub API

阿里云流數(shù)據(jù)處理平臺DataHub是流式數(shù)據(jù)（Streaming Data）的處理平臺，可提供對流式數(shù)據(jù)的發(fā)布、訂閱和分發(fā)功能，還可以輕松地構(gòu)建基于流式數(shù)據(jù)的分析和應(yīng)用。DataHub服務(wù)可以對各種移動設(shè)備、應(yīng)用軟件、網(wǎng)站服務(wù)、傳感器等產(chǎn)生的大量流式數(shù)據(jù)進(jìn)行持續(xù)不斷的采集、存儲和處理?？梢跃帉憫?yīng)用程序或者使用流計算引擎來處理寫入到DataHub中的流式數(shù)據(jù)，例如，實時web訪問日志、應(yīng)用日志、各種事件等，并產(chǎn)出各種實時的數(shù)據(jù)處理結(jié)果，例如，實時圖表、報警信息、實時統(tǒng)計等。它相較于Logstash而言，這種方式性能更優(yōu)，更適于處理復(fù)雜的數(shù)據(jù)需求。

數(shù)據(jù)遷移及實時數(shù)據(jù)同步（上云）

數(shù)據(jù)傳輸服務(wù)(Data Transmission Service) DTS支持關(guān)系型數(shù)據(jù)庫、NoSQL、大數(shù)據(jù)(OLAP)等數(shù)據(jù)源間的數(shù)據(jù)傳輸。 它是一種集數(shù)據(jù)遷移、數(shù)據(jù)訂閱及數(shù)據(jù)實時同步于一體的數(shù)據(jù)傳輸服務(wù)。相對于第三方數(shù)據(jù)流工具而言，數(shù)據(jù)傳輸服務(wù) DTS 可提供更豐富多樣、高性能、高安全可靠的傳輸鏈路，同時它提供了諸多便利功能，極大地方便了傳輸鏈路的創(chuàng)建及管理。
數(shù)據(jù)傳輸致力于在公有云、混合云場景下，解決遠(yuǎn)距離、毫秒級異步數(shù)據(jù)的傳輸難題。它底層的數(shù)據(jù)流基礎(chǔ)設(shè)施為阿里雙11異地多活基礎(chǔ)架構(gòu)，為數(shù)千下游應(yīng)用提供實時數(shù)據(jù)流，已在線上穩(wěn)定運(yùn)行三年之久。

數(shù)據(jù)架構(gòu)層的實現(xiàn)

企業(yè)數(shù)據(jù)模型在數(shù)據(jù)架構(gòu)層的實現(xiàn)

企業(yè)數(shù)據(jù)模型在實現(xiàn)數(shù)據(jù)架構(gòu)層時，每一層都有每一層的規(guī)范。數(shù)據(jù)上云到MAXCOMPUTE(數(shù)據(jù)存儲)大數(shù)據(jù)存儲及處理平臺后，將數(shù)據(jù)進(jìn)行處理，并把數(shù)據(jù)放到臨時層，在經(jīng)過簡單轉(zhuǎn)換進(jìn)到基礎(chǔ)數(shù)層，最后將數(shù)據(jù)進(jìn)一步匯總到應(yīng)用層。臨時層的模型設(shè)計方式與源系統(tǒng)模型一致，都是統(tǒng)一命名規(guī)范的，它設(shè)計具有僅保存臨時數(shù)據(jù)的原則，可應(yīng)用于ETL用戶數(shù)據(jù)加工與處理?；A(chǔ)數(shù)據(jù)層偏3NF設(shè)計，它是面向數(shù)據(jù)整合、長期歷史數(shù)據(jù)存儲、詳細(xì)數(shù)據(jù)、通用匯總數(shù)據(jù)的設(shè)計，可應(yīng)用于席查詢、應(yīng)用層數(shù)據(jù)源等。應(yīng)用層的設(shè)計方式是反正則化設(shè)計、星型/雪花模型設(shè)計，它是面向一個或幾個應(yīng)用進(jìn)行模型設(shè)計的，可應(yīng)用于報表查詢、數(shù)據(jù)挖掘等。

數(shù)據(jù)生成

在TPC官網(wǎng)上下載TPC-DS工具，使用下載后的工具生成TPC-DS數(shù)據(jù)文件，數(shù)據(jù)文件再生成hdfs、Hbase、OSS、RDS數(shù)據(jù)源。Hdfs和Hbase數(shù)據(jù)源是使用Hadoop客戶端命令把TPC-DS數(shù)據(jù)文件加載到hdfs和Hbase中，數(shù)據(jù)源OSS是通過OSS客戶端命令把TPC-DS數(shù)據(jù)文件加載到OSS中，數(shù)據(jù)源 RDS是通過dataworks數(shù)據(jù)集成把數(shù)據(jù)文件加載到RDS中。

數(shù)據(jù)上云

數(shù)據(jù)上云任務(wù)在設(shè)計目錄架構(gòu)和命名規(guī)范時，根目錄應(yīng)為01_數(shù)據(jù)導(dǎo)入格式，目錄架構(gòu)應(yīng)遵循數(shù)據(jù)源的不同創(chuàng)建子目錄，且相同數(shù)據(jù)源的數(shù)據(jù)導(dǎo)入任務(wù)放到同一個目錄下的規(guī)則，命名為源名稱+”To”+目標(biāo)名稱格式，值得注意的是任務(wù)類型和命名規(guī)則的腳本模式和向?qū)Ｊ绞遣煌摹?br />數(shù)據(jù)上云任務(wù)開發(fā)分為數(shù)據(jù)源配置、腳本模式任務(wù)開發(fā)、向?qū)Ｊ饺蝿?wù)開發(fā)、任務(wù)調(diào)度屬性配置四個模塊，四個模塊具體操作步驟介紹如下：

• 數(shù)據(jù)源配置模塊：以FTP配置為例，操作步驟為新增數(shù)據(jù)源、結(jié)構(gòu)化存儲-FTP、屬性選擇及填寫、測試連通性、點(diǎn)擊完成，最后，在數(shù)據(jù)源頁面就可以看到已配置的數(shù)據(jù)源。

• 腳本模式任務(wù)開發(fā)模塊：以ftp->MaxCompute為例，操作步驟為在數(shù)據(jù)集成界面新建任務(wù)、選擇腳本模式、點(diǎn)擊確認(rèn)、生成配置文件模板、Ftp Reader配置、MaxCompute Writer配置、點(diǎn)擊保存按鈕，最終根據(jù)命名規(guī)范保存該任務(wù)。

• 向?qū)Ｊ饺蝿?wù)開發(fā)模塊：以RDS->MaxCompute為例，具體操作步驟為數(shù)據(jù)集成->同步任務(wù)->向?qū)Ｊ?、選擇數(shù)據(jù)源、選擇表、添加數(shù)據(jù)過濾條件（可選）、配置切分鍵（可選）、選擇目標(biāo)數(shù)據(jù)源、選擇目標(biāo)表、填寫分區(qū)信息、選擇清理規(guī)則、字段映射配置、通道控制相關(guān)參數(shù)配置、與切分鍵結(jié)合使用、填寫任務(wù)名稱、選擇保存位置，最后確認(rèn)任務(wù)創(chuàng)建已完成。

• 任務(wù)調(diào)度屬性配置模塊：DataWorks任務(wù)創(chuàng)建成功后，可以對其相關(guān)屬性進(jìn)行配置。當(dāng)數(shù)據(jù)集成->點(diǎn)擊提交按鈕時，適用于剛剛創(chuàng)建完成的任務(wù)和初始屬性的配置，當(dāng)數(shù)據(jù)開發(fā)->調(diào)度配置時，適用于修改和添加任務(wù)屬性。

原文鏈接?

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。