整個(gè)大數(shù)據(jù)處理的體系，按我的理解可以分為兩個(gè)部分，一個(gè)是分布式存儲(chǔ)系統(tǒng)、另一個(gè)是分布式計(jì)算框架。分布式存儲(chǔ)系統(tǒng)主流是HadoopDFS，其他還有Ceph和Swift。分布式計(jì)算框架主流是MapReduce，Storm和Spark。

首先說(shuō)分布式存儲(chǔ)系統(tǒng)HadoopDFS。它是一種本地文件系統(tǒng)之上的更高的抽象，把跨節(jié)點(diǎn)的組成的文件系統(tǒng)看成一個(gè)邏輯上的整體。它存儲(chǔ)的思路是，把文件分成一個(gè)個(gè)block，每個(gè)block都有一定量的副本存儲(chǔ)在不同的節(jié)點(diǎn)上，默認(rèn)數(shù)量是3個(gè)，這保證了分布式存儲(chǔ)的數(shù)據(jù)的穩(wěn)定性。

HDFS的架構(gòu)有NameNode、SecondaryNameNode、DataNode。NameNode節(jié)點(diǎn)主要負(fù)責(zé)客戶端傳來(lái)的讀寫請(qǐng)求，保存文件的metadata。SecondaryNameNode負(fù)責(zé)幫助NameNode合并editlog。DataNode負(fù)責(zé)儲(chǔ)存Block，向NameNode匯報(bào)block信息、發(fā)送heartbeat。

HDFS寫入文件的時(shí)候：客戶端通過(guò)RPC向NN調(diào)用create（）方法，NN檢查文件是否存在，不存在并且有權(quán)限的話就會(huì)創(chuàng)建一個(gè)新文件，向客戶端返回一個(gè)FSDataOutputStream，用于寫數(shù)據(jù)。

HDFS讀文件的時(shí)候，客戶端通過(guò)RPC向NN調(diào)用open（）方法，NN獲得每個(gè)數(shù)據(jù)塊的位置信息，返回客戶端FSDataInputstream，客戶端調(diào)用其read（）方法讀取數(shù)據(jù)塊。

分布式計(jì)算框架中最流行的是MapReduce。它把并行計(jì)算、容錯(cuò)等細(xì)節(jié)問題封裝到庫(kù)里，程序員只需要編寫map和reduce函數(shù)就可以了。這種模型的靈感來(lái)自函數(shù)式編程中的map和reduce原語(yǔ)。Map函數(shù)接受KV值，輸出KV值，reduce函數(shù)接收KEY和相同key構(gòu)成的value的集合的迭代器，再輸出KV值。

整個(gè)執(zhí)行過(guò)程是：用戶提交job給調(diào)度系統(tǒng)，每個(gè)job包含一系列task，調(diào)度系統(tǒng)將這些任務(wù)調(diào)度到集群中多臺(tái)可用的機(jī)器上。

開始執(zhí)行后，數(shù)據(jù)被分割成M個(gè)數(shù)據(jù)片段集合，再調(diào)用map函數(shù)，之后被分區(qū)函數(shù)將結(jié)果分成R個(gè)不同分區(qū)，之后執(zhí)行Reduce函數(shù)。具體就是：

輸入文件分成M個(gè)數(shù)據(jù)片段，每個(gè)片段大小是HDFS的blocksize，程序副本也被創(chuàng)建到集群中。

這些程序的副本有一個(gè)master，master負(fù)責(zé)分配任務(wù)給其他空閑的worker。

分配了map任務(wù)的worker程序讀取數(shù)據(jù)片段，解析成KV對(duì)，然后傳遞給自定義的map函數(shù)，再解析出中間KV對(duì)，緩存在內(nèi)存中。

分區(qū)函數(shù)把內(nèi)存中的KV對(duì)分成R個(gè)區(qū)域，周期性寫入文件系統(tǒng)，緩存的KV對(duì)在本地磁盤位置傳給master，master再把位置傳給reduceworker。

reduceworker收到位置信息，通過(guò)RPC從mapworker所在主機(jī)磁盤讀取緩存數(shù)據(jù)。讀取后，通過(guò)對(duì)key排序使得具有相同key的數(shù)據(jù)聚合在一起，

排序過(guò)后，每個(gè)key對(duì)應(yīng)的value集合傳給自定義reduce函數(shù)，處理之后，結(jié)果追加到所屬分區(qū)的輸出文件中。

map和reduce任務(wù)都完成后，master喚醒用戶程序，返回結(jié)果。

Spark這個(gè)計(jì)算框架的兩個(gè)優(yōu)勢(shì)是內(nèi)存計(jì)算和DAG。它的五大特性：

? ? ? ? ?RDD都是由partition組成的

? ? ? ? ?每個(gè)split都會(huì)有相同的計(jì)算函數(shù)

? ? ? ? ?有一系列的依賴關(guān)系

? ? ? ? ?對(duì)鍵值對(duì)類型的RDD可以為他分區(qū)，但我暫時(shí)沒用過(guò)

? ? ? ? ?移動(dòng)計(jì)算，而不移動(dòng)數(shù)據(jù)。他會(huì)把計(jì)算發(fā)到相應(yīng)數(shù)據(jù)集所在節(jié)點(diǎn)。

整個(gè)spark的核心就是RDD，一個(gè)RDD中的數(shù)據(jù)可以做partition分區(qū)，對(duì)于RDD的操作也只有transformation和action兩種。

一個(gè)Spark作業(yè)就是對(duì)RDD的一系列操作（transformation和一個(gè)action）。作業(yè)又可以分為多個(gè)stage，stage的劃分又出現(xiàn)了寬依賴和窄依賴的概念。窄依賴就是父RDD的每個(gè)分區(qū)最多被一個(gè)子RDD的分區(qū)所用，寬依賴就是子RDD的每個(gè)分區(qū)依賴于父RDD的多個(gè)分區(qū)或所有分區(qū)。當(dāng)一個(gè)作業(yè)的lineage過(guò)長(zhǎng)，可以用到緩存管理，persis或者cache一下，加快整個(gè)處理速度。