在本文中，我們將介紹云計(jì)算環(huán)境中流行的大數(shù)據(jù)框架，并確定這些大數(shù)據(jù)框架的某些屬性，并探討與之相關(guān)的一些最大障礙和問(wèn)題。本文將按資源管理大數(shù)據(jù)框架的主要屬性進(jìn)行分類，將它們與具有類似性質(zhì)的其他框架進(jìn)行比較，并提出與使用它們相關(guān)的推薦最佳實(shí)踐。

介紹

盡管遷移到云計(jì)算的好處是眾所周知的，但在大數(shù)據(jù)分析的背景下，其好處更為明顯。大數(shù)據(jù)所固有的是使用PB（即將成為EB和ZB）數(shù)據(jù)。業(yè)務(wù)分析要求使用數(shù)據(jù)密集型應(yīng)用程序，而云環(huán)境的可伸縮性對(duì)于使它們的部署可行是必不可少的。利用云還可以促進(jìn)整個(gè)組織之間更輕松的協(xié)作和連接，簡(jiǎn)化數(shù)據(jù)共享并授予更多員工訪問(wèn)相關(guān)分析的權(quán)限。

IT領(lǐng)導(dǎo)者當(dāng)然認(rèn)識(shí)到將大數(shù)據(jù)轉(zhuǎn)移到云中的好處，但是要讓主要利益相關(guān)者和高層管理人員購(gòu)買該概念會(huì)更加復(fù)雜。但是，利用云和大數(shù)據(jù)的組合確實(shí)具有商業(yè)上的實(shí)際意義，因?yàn)樗鼘⒃试S對(duì)業(yè)務(wù)進(jìn)行優(yōu)化查看，并將促進(jìn)基于相關(guān)數(shù)據(jù)的決策。

例如，生產(chǎn)實(shí)物產(chǎn)品的公司的首席運(yùn)營(yíng)官可以極大地受益于訪問(wèn)有關(guān)供應(yīng)鏈優(yōu)化的數(shù)據(jù)以及跟蹤缺陷的有效機(jī)制。同樣，尋求提高客戶忠誠(chéng)度和參與度的CMO，以及尋求增加收入，降低成本和進(jìn)行戰(zhàn)略投資的新途徑的CFO，也都依賴數(shù)據(jù)來(lái)制定決策。無(wú)論從哪個(gè)角度來(lái)看，基于云的敏捷平臺(tái)和大數(shù)據(jù)的利用將驅(qū)動(dòng)貴公司的運(yùn)營(yíng)和實(shí)現(xiàn)目標(biāo)。

如2020-2025年大數(shù)據(jù)市場(chǎng)報(bào)告所述，全球大數(shù)據(jù)市場(chǎng)規(guī)模將從2020年的1389億美元增加到2025年的2294億美元。

大數(shù)據(jù)和云計(jì)算的歷史

龐大的分析項(xiàng)目高度依賴有效的資源管理，因?yàn)閿?shù)據(jù)平臺(tái)利用大量可視化的硬件資源來(lái)降低成本并優(yōu)化結(jié)果。架構(gòu)的復(fù)雜性使得這種管理或資源具有挑戰(zhàn)性。因此，應(yīng)認(rèn)真考慮將要處理多少數(shù)據(jù)，并設(shè)計(jì)出既有利于當(dāng)前應(yīng)用，又有利于未來(lái)應(yīng)用的最佳性能的體系結(jié)構(gòu)。

直到最近，網(wǎng)格，計(jì)算機(jī)集群和其他高性能超級(jí)計(jì)算機(jī)仍被用作高計(jì)算項(xiàng)目的資源。群集計(jì)算是

此類框架的主要環(huán)境。網(wǎng)格計(jì)算環(huán)境（或其他分布式HPC環(huán)境）中的虛擬組織管理專用于應(yīng)用程序需求的資源（外部和內(nèi)部），盡管近年來(lái)有關(guān)將此執(zhí)行轉(zhuǎn)移到云的討論一直是討論的熱門話題。出于安全原因，吸引本地存儲(chǔ)敏感數(shù)據(jù)不足為奇，但是當(dāng)存儲(chǔ)量變得無(wú)法內(nèi)部存儲(chǔ)（例如企業(yè)中的數(shù)據(jù)）時(shí)，組織發(fā)現(xiàn)必須遷移到云存儲(chǔ)解決方案。

盡管云計(jì)算可能是增長(zhǎng)大數(shù)據(jù)的核心，但是針對(duì)大數(shù)據(jù)應(yīng)用程序的基于云的解決方案與常見(jiàn)的解決方案有很大不同。傳統(tǒng)的云解決方案提供了一些松散相關(guān)的應(yīng)用程序，其細(xì)粒度的體系結(jié)構(gòu)旨在為大量用戶提供服務(wù)。這些用戶通常在不同的位置獨(dú)立運(yùn)行，并且通常擁有非共享或私有數(shù)據(jù)。該數(shù)據(jù)可能主要是面向批處理的，并且包含許多交互。通常會(huì)對(duì)其進(jìn)行重新定位，以適應(yīng)高度動(dòng)態(tài)的資源需求。話雖如此，大數(shù)據(jù)與常規(guī)擴(kuò)展解決方案共享一些共同的屬性，以及對(duì)資源自動(dòng)管理的要求。

云計(jì)算企業(yè)的成長(zhǎng)和成熟正在完善和改善云環(huán)境，以使其更加敏捷和高效。云提供商也在擴(kuò)展其服務(wù)，其中通常包括數(shù)據(jù)湖架構(gòu)。該平臺(tái)提供了增強(qiáng)的生產(chǎn)力套件，可用于BI，云操作，數(shù)據(jù)庫(kù)，OLAP，數(shù)據(jù)倉(cāng)庫(kù)和其他開(kāi)發(fā)工具。

大數(shù)據(jù)云計(jì)算中的資源管理框架

已經(jīng)在不同的應(yīng)用領(lǐng)域中使用了各種計(jì)算基礎(chǔ)結(jié)構(gòu)，以利用商品計(jì)算資產(chǎn)以批處理模式處理大型數(shù)據(jù)庫(kù)。在這里，我們旨在探索云計(jì)算環(huán)境中使用的一些流行的大數(shù)據(jù)資源管理框架。下圖有助于直觀地繪制出大數(shù)據(jù)管理結(jié)構(gòu)樣式的分類。

比較大數(shù)據(jù)框架

當(dāng)代企業(yè)，研究社區(qū)和IT行業(yè)都在感受到大數(shù)據(jù)云計(jì)算的影響，涌現(xiàn)出一些變革性和顛覆性的大數(shù)據(jù)解決方案和技術(shù)，以促進(jìn)許多企業(yè)的創(chuàng)新和數(shù)據(jù)驅(qū)動(dòng)的運(yùn)營(yíng)決策。現(xiàn)代數(shù)據(jù)云計(jì)算服務(wù)提供了基礎(chǔ)架構(gòu)，技術(shù)和大數(shù)據(jù)分析，可幫助加快大數(shù)據(jù)分析的步伐并降低其成本。

盡管有許多選項(xiàng)可用，但關(guān)鍵在于選擇最適合特定業(yè)務(wù)的框架。這種選擇往往會(huì)歸結(jié)為應(yīng)用需求，并權(quán)衡每種情況的優(yōu)點(diǎn)和缺點(diǎn)。其中許多是基于應(yīng)用程序使用場(chǎng)景的，并且可能涉及一些折衷。在云中部署大數(shù)據(jù)應(yīng)用程序之前，需要確定幾個(gè)關(guān)鍵因素?，F(xiàn)在，我們將討論選擇每種主要管理框架類型的利弊。

1.處理速度

在評(píng)估不同資源管理結(jié)構(gòu)的功效時(shí)，處理速度是一項(xiàng)重要的性能衡量工具，它基于對(duì)內(nèi)存或磁盤(pán)的數(shù)據(jù)傳輸讀寫(xiě)（I / O）的便利性。它還測(cè)量特定時(shí)間段內(nèi)兩個(gè)通信單元之間的數(shù)據(jù)傳輸速率。有理由認(rèn)為某些資源管理框架會(huì)表現(xiàn)更好。但是，研究發(fā)現(xiàn)，盡管某些框架在執(zhí)行較小的任務(wù)時(shí)表現(xiàn)出更好的性能，但其他框架在處理更大的數(shù)據(jù)源集時(shí)卻要快得多。但是，隨著數(shù)據(jù)集輸入的增加，所有框架的“加速”比率都降低了。

2.容錯(cuò)

測(cè)量一個(gè)組件發(fā)生故障時(shí)系統(tǒng)的其余部分如何繼續(xù)運(yùn)行稱為容錯(cuò)。在高性能計(jì)算系統(tǒng)中執(zhí)行特定任務(wù)時(shí)，將評(píng)估數(shù)百個(gè)錯(cuò)綜復(fù)雜的互連節(jié)點(diǎn)。一個(gè)導(dǎo)致失敗的結(jié)果應(yīng)該對(duì)整個(gè)計(jì)算的影響很小或沒(méi)有影響。一些框架比其他框架具有更高的容錯(cuò)能力，其中某些框架在涉及大量數(shù)據(jù)傳輸?shù)那闆r下會(huì)超出容錯(cuò)范圍。使用PageRank算法進(jìn)行的研究已用于對(duì)多種框架的性能進(jìn)行實(shí)驗(yàn)，發(fā)現(xiàn)在較小的數(shù)據(jù)集中，性能可以很好地衡量，但是隨著數(shù)據(jù)集的增長(zhǎng)，“加速”性能下降。某些數(shù)據(jù)集可能變得如此之大，以至于某些系統(tǒng)無(wú)法處理它們而不會(huì)崩潰。

3.可擴(kuò)展性

企業(yè)依靠及時(shí)處理數(shù)據(jù)來(lái)解決高價(jià)值業(yè)務(wù)問(wèn)題。通過(guò)能夠同時(shí)大規(guī)模執(zhí)行多個(gè)計(jì)算，可以減少與業(yè)務(wù)相關(guān)的計(jì)算的工作量，總體時(shí)間和復(fù)雜性。通過(guò)在運(yùn)行時(shí)分配額外的資源來(lái)適應(yīng)大負(fù)載或工作量（或大?。┳兓那闆r稱為可伸縮性?？缮炜s性可用于增加所需的資源（按比例放大）或減少所需的資源（按比例縮?。?。因此，可伸縮性涉及將多個(gè)條件組合到單個(gè)算法中。研究表明，框架也可以在不同級(jí)別上產(chǎn)生可伸縮的性能。

4.安全性

大多數(shù)大數(shù)據(jù)應(yīng)用程序都不再使用內(nèi)部數(shù)據(jù)存儲(chǔ)，而是選擇遷移到云環(huán)境中，使不同的用戶可以訪問(wèn)或記錄相同的隱私，從而輕松獲得信息。數(shù)據(jù)完整性和安全性一直是最重要的，但是隨著大數(shù)據(jù)平臺(tái)廣泛采用云計(jì)算服務(wù)，這一方面會(huì)進(jìn)一步擴(kuò)大。由于暴露給出于自身原因而尋求數(shù)據(jù)的多個(gè)用戶，這反過(guò)來(lái)又增加了數(shù)據(jù)所面臨的隱私和安全性的風(fēng)險(xiǎn)級(jí)別。

安全性分為幾類，每一種都需要通過(guò)各種級(jí)別的加密對(duì)身份驗(yàn)證和授權(quán)進(jìn)行不同級(jí)別的訪問(wèn)。某些框架在其訪問(wèn)示意圖中使用加密機(jī)制，而其他框架則允許對(duì)其訪問(wèn)和加密進(jìn)行密碼控制。盡管如此，其他人仍未提供任何系統(tǒng)級(jí)內(nèi)置安全性。

結(jié)論

在速度和數(shù)據(jù)量方面的增長(zhǎng)速度可能是驚人的，特別是對(duì)于年輕的組織。但是，利用云計(jì)算可以從根本上改變?nèi)魏芜\(yùn)營(yíng)的效率和數(shù)據(jù)驅(qū)動(dòng)的組織。

您的組織是否已將大數(shù)據(jù)遷移到云？我們很想聽(tīng)聽(tīng)此舉如何影響您的數(shù)據(jù)分析質(zhì)量和速度。請(qǐng)與我們分享這如何幫助您改善組織運(yùn)作。
責(zé)任編輯人：CC