本文涉及阿里云分布式調(diào)度團隊在分布式調(diào)度系統(tǒng)的設計、實現(xiàn)、優(yōu)化等方面的實踐以及由此總結(jié)的分布式系統(tǒng)設計的一般性原則，具體包括分布式調(diào)度的任務調(diào)度、資源調(diào)度、容錯機制、規(guī)模挑戰(zhàn)、安全與性能隔離以及未來發(fā)展方向六部分。

　　云計算并不是無中生有的概念，它將普通的單臺PC計算能力通過分布式調(diào)度軟件連接起來。其最核心的問題是如何把一百臺、一千臺、一萬臺機器高效地組織起來，靈活進行任務調(diào)度和管理，從而可以像使用臺式機一樣使用云計算。在云計算中，最核心的模塊是分布式調(diào)度，它好比云計算的中央處理器。目前，業(yè)界已存在多種分布式調(diào)度實現(xiàn)方案，如伏羲、Hadoop MapReduce、YARN、Mesos等系統(tǒng)。

　　阿里云伏羲

　　伏羲系統(tǒng)在前人的基礎上進行了一系列改造，首先與YARN和Mesos系統(tǒng)類似，將資源的調(diào)度和任務調(diào)度分離，形成兩層架構(gòu)，使其具備以下優(yōu)勢：

　　規(guī)模：兩層架構(gòu)易于橫向擴展，資源管理和調(diào)度模塊僅負責資源的整體分配，不負責具體任務調(diào)度，可以輕松擴展集群節(jié)點規(guī)模；

　　容錯：當某個任務運行失敗不會影響其他任務的執(zhí)行；同時資源調(diào)度失敗也不影響任務調(diào)度；

　　擴展性：不同的計算任務可以采用不同的參數(shù)配置和調(diào)度策略，同時支持資源搶占；

　　調(diào)度效率：計算framework決定資源的生命周期，可以復用資源，提高資源交互效率。

　　這套系統(tǒng)目前已經(jīng)在阿里集團進行了大范圍的應用，能支持單集群5000節(jié)點、并發(fā)運行10000作業(yè)、30分鐘完成100T數(shù)據(jù)terasort，性能是Yahoo在Sort Benchmark的世界紀錄的兩倍。

　　伏羲的系統(tǒng)架構(gòu)

　　伏羲的系統(tǒng)架構(gòu)如圖1所示，整個集群包括一臺Fuxi Master以及多臺Tubo。其中Fuxi Master是集群的中控角色，負責資源的管理和調(diào)度；Tubo是每臺機器上都有的一個Agent，負責管理本臺機器上的用戶進程；同時集群中還有一個叫Package Manager的角色，因為用戶的可執(zhí)行程序以及一些配置需要事先打成一個壓縮包并上傳到Package Manager上，Package Manager專門負責集群中包的分發(fā)。

　　圖1 伏羲的系統(tǒng)架構(gòu)

　　集群部署完后，用戶通過Client端的工具向Fuxi Master提交計算任務；Fuxi Master接收到任務后首先通知某一個Tubo啟動這個計算任務所對應的APP Master；APP Master啟動之后，它獲知了自己的計算任務，包括數(shù)據(jù)分布在哪里、有多少的任務需要計算等等信息；接著APP Master會向Fuxi Master提交資源申請，表明它需要多少計算資源；Fuxi Master經(jīng)過資源調(diào)度以后，將資源的分配結(jié)果下發(fā)給APP Master；APP Master在這個資源的基礎之上進行它的任務調(diào)度，來決定哪些機器上運行哪些計算任務，并且將這個計算任務發(fā)送給對應機器上的Tubo進程；Tubo接受到命令之后就會從Package Manager中下載對應的可執(zhí)行程序并解壓；然后啟動用戶的可執(zhí)行程序，加載用戶的配置（圖1中的APP Worker）；APP Worker根據(jù)配置中的信息讀取文件存儲系統(tǒng)中的數(shù)據(jù)，然后進行計算并且將計算結(jié)果發(fā)往下一個APP Worker。其中，數(shù)據(jù)的切片稱之為Instance或者叫計算實例。

　　Fuxi Master與Tubo這套結(jié)構(gòu)解決了分布式調(diào)度中的資源調(diào)度，每個計算任務的APP Master以及一組APP Worker組合起來解決任務調(diào)度的問題。

　　任務調(diào)度

　　伏羲在進行任務調(diào)度時，主要涉及兩個角色：計算框架所需的APP Master以及若干個APP Worker。