在eBay上存儲(chǔ)著上億種商品的信息，而且每天有數(shù)百萬(wàn)種的新商品增加，因此需要用云系統(tǒng)來(lái)存儲(chǔ)和處理PB級(jí)別的數(shù)據(jù)，而Hadoop則是個(gè)很好的選擇。

Hadoop是建立在商業(yè)硬件上的容錯(cuò)、可擴(kuò)展、分布式的云計(jì)算框架，eBay利用Hadoop建立了一個(gè)大規(guī)模的集群系統(tǒng)—Athena，它被分為五層（如下圖所示），下面從最底層向上開(kāi)始介紹：

1）Hadoop核心層，包括Hadoop運(yùn)行時(shí)環(huán)境、一些通用設(shè)施和HDFS，其中文件系統(tǒng)為讀寫(xiě)大塊數(shù)據(jù)而做了一些優(yōu)化，如將塊的大小由128MB改為256MB。

2）MapReduce層，為開(kāi)發(fā)和執(zhí)行任務(wù)提供API和控件。

3）數(shù)據(jù)獲取層，現(xiàn)在數(shù)據(jù)獲取層的主要框架是HBase、Pig和Hive：

·HBase是根據(jù)Google BigTable開(kāi)發(fā)的按列存儲(chǔ)的多維空間數(shù)據(jù)庫(kù)，通過(guò)維護(hù)數(shù)據(jù)的劃分和范圍提供有序的數(shù)據(jù)，其數(shù)據(jù)儲(chǔ)存在HDFS上。

·Pig（Latin）是提供加載、篩選、轉(zhuǎn)換、提取、聚集、連接、分組等操作的面向過(guò)程的語(yǔ)言，開(kāi)發(fā)者使用Pig建立數(shù)據(jù)管道和數(shù)據(jù)工廠。

·Hive是用于建立數(shù)據(jù)倉(cāng)庫(kù)的使用SQL語(yǔ)法的聲明性語(yǔ)言。對(duì)于開(kāi)發(fā)者、產(chǎn)品經(jīng)理和分析師來(lái)說(shuō)，SQL接口使得Hive成為很好的選擇。

4）工具和加載庫(kù)層，UC4是eBay從多個(gè)數(shù)據(jù)源自動(dòng)加載數(shù)據(jù)的企業(yè)級(jí)調(diào)度程序。加載庫(kù)有：統(tǒng)計(jì)庫(kù)（R）、機(jī)器學(xué)習(xí)庫(kù)（Mahout）、數(shù)學(xué)相關(guān)庫(kù)（Hama）和eBay自己開(kāi)發(fā)的用于解析網(wǎng)絡(luò)日志的庫(kù)（Mobius）。

5）監(jiān)視和警告層，Ganglia是分布式集群的監(jiān)視系統(tǒng)，Nagios則用來(lái)警告一些關(guān)鍵事件如服務(wù)器不可達(dá)、硬盤(pán)已滿等。

eBay的企業(yè)服務(wù)器運(yùn)行著64位的RedHat Linux：

·NameNode負(fù)責(zé)管理HDFS的主服務(wù)器;

·JobTracker負(fù)責(zé)任務(wù)的協(xié)調(diào);

·HBaseMaster負(fù)責(zé)存儲(chǔ)HBase存儲(chǔ)的根信息，并且方便與數(shù)據(jù)塊或存取區(qū)域進(jìn)行協(xié)調(diào);

·ZooKeeper是保證HBase一致性的分布式鎖協(xié)調(diào)器。

用于存儲(chǔ)和計(jì)算的節(jié)點(diǎn)是1U大小的運(yùn)行Cent OS的機(jī)器，每臺(tái)機(jī)器擁有2個(gè)四核處理器和2TB大小的存儲(chǔ)空間，每38～42個(gè)節(jié)點(diǎn)單元為一個(gè)rack，這組建成了高密度網(wǎng)格。有關(guān)網(wǎng)絡(luò)方面，頂層rack交換機(jī)到節(jié)點(diǎn)的帶寬為1Gbps，rack交換機(jī)到核心交換機(jī)的帶寬為40Gpbs。

這個(gè)集群是eBay內(nèi)多個(gè)團(tuán)隊(duì)共同使用的，包括產(chǎn)品和一次性任務(wù)。這里使用Hadoop公平調(diào)度器（Fair Scheduler）來(lái)管理分配、定義團(tuán)隊(duì)的任務(wù)池、分配權(quán)限、限制每個(gè)用戶和組的并行任務(wù)、設(shè)置優(yōu)先權(quán)期限和延遲調(diào)度。

▲數(shù)據(jù)流

數(shù)據(jù)流的具體處理過(guò)程如上圖所示，系統(tǒng)每天需要處理8TB至10TB的新數(shù)據(jù)，而Hadoop主要用于：

·基于機(jī)器學(xué)習(xí)的排序，使用Hadoop計(jì)算需要考慮多個(gè)因素（如價(jià)格、列表格式、賣(mài)家記錄、相關(guān)性）的排序函數(shù)，并需要添加新因素來(lái)驗(yàn)證假設(shè)的擴(kuò)展功能，以增強(qiáng)eBay物品搜索的相關(guān)性。

·對(duì)物品描述數(shù)據(jù)的挖掘，在完全無(wú)人監(jiān)管的方式下使用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù)將物品描述清單轉(zhuǎn)化為與物品相關(guān)的鍵/值對(duì)，以擴(kuò)大分類的覆蓋范圍。

·eBay的研究人員在系統(tǒng)構(gòu)建和使用過(guò)程中遇到的挑戰(zhàn)及一些初步計(jì)劃有以下幾個(gè)方面：

·可擴(kuò)展性，當(dāng)前主系統(tǒng)的NameNode擁有擴(kuò)展的功能，隨著集群的文件系統(tǒng)不斷增長(zhǎng)，需要存儲(chǔ)大量的元數(shù)據(jù)，所以內(nèi)存占有量也在不斷增長(zhǎng)。若是1PB的存儲(chǔ)量則需要將近1GB的內(nèi)存量，可能的解決方案是使用等級(jí)結(jié)構(gòu)的命名空間劃分，或者使用HBase和ZooKeeper聯(lián)合對(duì)元數(shù)據(jù)進(jìn)行管理。

·有效性，NameNode的有效性對(duì)產(chǎn)品的工作負(fù)載很重要，開(kāi)源社區(qū)提出了一些備用選擇，如使用檢查點(diǎn)和備份節(jié)點(diǎn)、從Secondary NameNode中轉(zhuǎn)移到Avatar節(jié)點(diǎn)、日志元數(shù)據(jù)復(fù)制技術(shù)等。eBay研究人員根據(jù)這些方法建立了自己的產(chǎn)品集群。

·數(shù)據(jù)挖掘，在存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)的系統(tǒng)上建立支持?jǐn)?shù)據(jù)管理、數(shù)據(jù)挖掘和模式管理的系統(tǒng)。新的計(jì)劃提議將Hive的元數(shù)據(jù)和Owl添加到新系統(tǒng)中，并稱為Howl。eBay研究人員努力將這個(gè)系統(tǒng)聯(lián)系到分析平臺(tái)上去，這樣用戶可以很容易地在不同的數(shù)據(jù)系統(tǒng)中挖掘數(shù)據(jù)。

·數(shù)據(jù)移動(dòng)，eBay研究人員考慮發(fā)布數(shù)據(jù)轉(zhuǎn)移工具，這個(gè)工具可以支持在不同的子系統(tǒng)如數(shù)據(jù)倉(cāng)庫(kù)和HDFS之間進(jìn)行數(shù)據(jù)的復(fù)制。

·策略，通過(guò)配額實(shí)現(xiàn)較好的歸檔、備份等策略（Hadoop現(xiàn)有版本的配額需要改進(jìn)）。eBay的研究人員基于工作負(fù)載和集群的特點(diǎn)對(duì)不同的集群確定配額。

·標(biāo)準(zhǔn)，eBay研究人員開(kāi)發(fā)健壯的工具來(lái)為數(shù)據(jù)來(lái)源、消耗情況、預(yù)算情況、使用情況等進(jìn)行度量。

同時(shí)eBay正在改變收集、轉(zhuǎn)換、使用數(shù)據(jù)的方式，以提供更好的商業(yè)智能服務(wù)。