大數(shù)據(jù)需要大存儲(chǔ)，尤其是文件存儲(chǔ)，Hadoop組件之一HDFS也因此得到了快速發(fā)展。隨著AI時(shí)代的來(lái)臨，機(jī)器學(xué)習(xí)對(duì)于大存儲(chǔ)提出了更高的要求。 分布式、并行、高速、在線擴(kuò)展、高可用、可靠、安全等等，現(xiàn)代機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)，要做大模型和超大模型訓(xùn)練，要迭代數(shù)以TB級(jí)別甚至PB級(jí)別的樣本，要做類似spark的checkpoint，要做動(dòng)態(tài)感知計(jì)算和網(wǎng)絡(luò)環(huán)境的調(diào)度，等等復(fù)雜負(fù)載，對(duì)文件系統(tǒng)的這些需求逐漸都變成了剛需。

壹

當(dāng)前比較流行的分布式文件系統(tǒng)，包括HDFS、Ceph/CephFS、Lustre、GPFS、GlusterFS等，各具特點(diǎn)，并應(yīng)用于一些特定的場(chǎng)景。作為開源項(xiàng)目的佼佼者，Ceph/CephFS因提供了對(duì)象存儲(chǔ)、塊存儲(chǔ)、文件系統(tǒng)三種接口，得到了最為廣泛的應(yīng)用。常規(guī)的場(chǎng)景中，對(duì)象存儲(chǔ)可以搭建企業(yè)級(jí)網(wǎng)盤，塊存儲(chǔ)可以作為OpenStack/KVM的鏡像后端，文件存儲(chǔ)可以替代HDFS支持大數(shù)據(jù)。 在云原生大行其道的今天，Ceph也沒(méi)有落后腳步。目前已經(jīng)提供了Kubernetes/Docker存儲(chǔ)的原生支持。

貳

了解Ceph的人，大都會(huì)認(rèn)為Ceph是一個(gè)相對(duì)復(fù)雜的系統(tǒng)，尤其當(dāng)磁盤規(guī)模達(dá)到千塊甚至萬(wàn)塊時(shí)。Ceph經(jīng)受住了長(zhǎng)時(shí)間的應(yīng)用考驗(yàn)，也說(shuō)明其架構(gòu)設(shè)計(jì)非常之優(yōu)秀。

在OPPO的機(jī)器學(xué)習(xí)平臺(tái)里，Ceph也在發(fā)揮著極其重要的作用，提供了諸如深度模型 分布式訓(xùn)練、 代碼 和 數(shù)據(jù)共享 、 訓(xùn)練任務(wù)容災(zāi) 、 模型急速發(fā)布 等能力。Ceph的應(yīng)用場(chǎng)景遠(yuǎn)不僅如此，但因?yàn)镃eph系統(tǒng)太過(guò)“復(fù)雜”，導(dǎo)致很多架構(gòu)師或者技術(shù)經(jīng)理不敢輕易觸碰。

誠(chéng)然，采納和應(yīng)用一門新技術(shù)，向來(lái)不是一個(gè)簡(jiǎn)單容易的過(guò)程，但認(rèn)識(shí)或者理解一門新技術(shù)，對(duì)于我們這些混跡于IT和互聯(lián)網(wǎng)圈的同學(xué)，可能從來(lái)都不是什么難事兒。

叁

如何快速認(rèn)識(shí)Ceph/CephFS，最簡(jiǎn)單的方式就是快速應(yīng)用它 。 如果想要理解它的原理，看代碼便是最直接的方式。后面，我們用源碼構(gòu)建并運(yùn)行一個(gè)小型的Ceph，全面感知下Ceph的魅力。對(duì)于了解Docker的同學(xué)，可以在容器里進(jìn)行這個(gè)嘗試。

以下演示如何快速編譯并啟動(dòng)一個(gè) 管理三塊磁盤的 分布式文件系統(tǒng) 。圖中Rados Cluster即為構(gòu)造的Ceph存儲(chǔ)集群， CephFS Kernel Client 是實(shí)現(xiàn)Linux VFS標(biāo)準(zhǔn)的內(nèi)核模塊，兩者通過(guò)網(wǎng)絡(luò)傳遞磁盤IO。

準(zhǔn)備階段

假設(shè)物理機(jī)ip為10.13.33.36，新啟的容器ip為10.244.0.5

第一步： 準(zhǔn)備好編譯和運(yùn)行的操作系統(tǒng)容器

第二步： 在容器內(nèi)安裝編譯和運(yùn)行Ceph的環(huán)境依賴庫(kù)

第三步： 下載Ceph源代碼并解壓進(jìn)入代碼工程目錄

第四步： 依賴準(zhǔn)備

第五步： 編譯Ceph

第六步： 啟動(dòng)Ceph集群并檢查Ceph Cluster狀態(tài)

第七步：客戶端掛載CephFS文件系統(tǒng)

第八步： 客戶端檢測(cè)并使用CephFS文件系統(tǒng)

肆

通過(guò)以上簡(jiǎn)單操作，即使是在未能熟悉mon/mds/osd服務(wù)功能，不用了解CRUSH算法原理，不懂cmake和make編譯系統(tǒng)的情況下， 也可以快速體驗(yàn)到一個(gè)原生的Ceph/CephFS。

上述的Ceph集群虛擬管理了三塊disk（filesystem），并通過(guò)CephFS接口暴露文件系統(tǒng)接口，客戶端主機(jī)通過(guò)掛載該CephFS到/tmp/oppofs目錄，所有讀寫/tmp/oppofs目錄和文件的IO都會(huì)通過(guò)網(wǎng)絡(luò)傳遞給Ceph Rados Cluster，并分發(fā)給三塊disk。

當(dāng)disk分布在多個(gè)主機(jī)時(shí)，在不同主機(jī)配置并啟動(dòng)相對(duì)應(yīng)的OSD進(jìn)程即可，每塊磁盤的IO都是通過(guò)OSD進(jìn)程進(jìn)行管理。對(duì)Ceph性能和功能有特殊需求的場(chǎng)景，也可以通過(guò)直接調(diào)整源代碼來(lái)定制。

Ceph本身具備的能力足以支撐起成千上萬(wàn)塊磁盤，但因磁盤數(shù)量高速增長(zhǎng)引來(lái)的其他相關(guān)挑戰(zhàn)，就需要各位實(shí)踐者去不斷學(xué)習(xí)和積累相關(guān)的知識(shí)去應(yīng)對(duì)了。 Ceph作為領(lǐng)先的大數(shù)據(jù)存儲(chǔ)解決方案 ， 應(yīng)用場(chǎng)景將會(huì)越來(lái)越豐富 。