對于分布式存儲產(chǎn)品，朋友們第一反應(yīng)總是：基于Ceph的嗎?

Ceph、HDFS、Glusterfs、Lustre、BeeGFS都是優(yōu)秀的分布式文件系統(tǒng)，是我們學(xué)習(xí)的榜樣。但碧海存儲系統(tǒng)是堅持近十年、一次自主研發(fā)的嘗試。碧海存儲系統(tǒng)具有良好的擴(kuò)展能力，業(yè)界領(lǐng)先的優(yōu)異性能，在重負(fù)載時系統(tǒng)運(yùn)行穩(wěn)定，IO性能波動小。

1.系統(tǒng)架構(gòu)與可擴(kuò)展性

碧海存儲采用無中心架構(gòu)，基于分布式NoSQL數(shù)據(jù)庫方式管理名字空間，目錄訪問具有更好的性能，并支持搜索功能;基于一致性hash算法實(shí)現(xiàn)數(shù)據(jù)定位，徹底消除傳統(tǒng)存儲中元數(shù)據(jù)服務(wù)器所帶來的可擴(kuò)展性瓶頸;系統(tǒng)從3節(jié)點(diǎn)起步，可輕松擴(kuò)展至上千個節(jié)點(diǎn)。

碧海存儲支持塊、文件、對象多種存儲方式。

碧海存儲系統(tǒng)屬于軟件定義存儲，可部署在標(biāo)準(zhǔn)的x86、ARM、飛騰、申威、龍芯等服務(wù)器上。

2.數(shù)據(jù)保護(hù)

碧海存儲系統(tǒng)無單點(diǎn)故障，實(shí)現(xiàn)了磁盤級、節(jié)點(diǎn)級、機(jī)架級的容錯。支持多副本、糾刪碼、RAID，以及RAID+多副本等多種容錯方式，可針對不同的數(shù)據(jù)安全和存儲成本需求選擇不同的容錯方式。多副本之間使用強(qiáng)一致性協(xié)議。

碧海存儲系統(tǒng)以自適應(yīng)速率方式修復(fù)受損數(shù)據(jù)：既可避免修復(fù)流量影響業(yè)務(wù)負(fù)載，又可以在系統(tǒng)空閑時全速率修復(fù)，降低數(shù)據(jù)丟失風(fēng)險。

3.性能優(yōu)化技術(shù)

分布式存儲系統(tǒng)的IO路徑很長，從客戶端的消息編碼、發(fā)送，到數(shù)據(jù)存儲服務(wù)器端的消息接收、解碼，從磁盤讀寫數(shù)據(jù)，再發(fā)回應(yīng)答。每個環(huán)節(jié)處理不好都會拖慢整體的性能。只有處理好每一個細(xì)節(jié)，才能取得優(yōu)異的性能。

在所有影響性能的因素中，并發(fā)性是第一重要的因素。

目前計算機(jī)系統(tǒng)中應(yīng)用程序級別實(shí)現(xiàn)并發(fā)的方法，主要有進(jìn)程池、線程池、基于非阻塞IO的事件驅(qū)動等方式。學(xué)術(shù)界和工業(yè)界對這些方法的優(yōu)劣存在長期的爭論，新編程語言的出現(xiàn)也使得這一選擇更加難以分辨。實(shí)踐是檢驗(yàn)真理的標(biāo)準(zhǔn)。碧海存儲系統(tǒng)在開發(fā)過程中，嘗試比較了所有的方法，最終選擇“進(jìn)程池+事件驅(qū)動”的并發(fā)模型，每個CPU啟動一個IO進(jìn)程，每個進(jìn)程內(nèi)部使用事件驅(qū)動模型。這樣既能夠發(fā)揮多核CPU的性能,又消除了多線程并發(fā)方式導(dǎo)致的調(diào)度開銷和鎖開銷，為優(yōu)異性能奠定了基礎(chǔ)，程序的容錯性也更好。當(dāng)然，事件驅(qū)動模式使得程序的開發(fā)和調(diào)試更加困難，這是其代價。

其它面向性能優(yōu)化的措施有：

● 通信協(xié)議設(shè)計大量使用復(fù)合過程，減少IO交互次數(shù);

●使用二進(jìn)制編解碼方式;

●使用類似于Slab、復(fù)雜度為O(1)的緩存管理算法;

●基于零拷貝方式在不同模塊間傳遞數(shù)據(jù)，避免數(shù)據(jù)拷貝;

●在處理大數(shù)據(jù)量時，使用高效的算法和數(shù)據(jù)結(jié)構(gòu)。

4.流控與IO公平性

分布式系統(tǒng)中，流控可能是最具挑戰(zhàn)性的問題之一。既要高吞吐量、低延遲，又要避免網(wǎng)絡(luò)擁塞和存儲系統(tǒng)IO Hang，這也是TCP協(xié)議發(fā)展幾十年，還需要不斷研究和發(fā)展的原因。

碧海存儲系統(tǒng)并沒有設(shè)計新的流控算法和機(jī)制，而是充分利用了TCP的流控機(jī)制，實(shí)現(xiàn)了端到端的流控。在具體實(shí)現(xiàn)中，流控問題轉(zhuǎn)換為緩沖區(qū)的分配問題。在收到讀請求時，立即為其預(yù)留緩存區(qū)，而不是在執(zhí)行讀操作時因缺乏緩沖區(qū)而返回失敗;寫請求也采取同樣策略;只有當(dāng)可用緩沖區(qū)大小超過設(shè)定閾值時才接收新的讀寫請求，否則不再接收新的請求。這樣就可以從全局避免類似于“receive-livelock”問題。

在分布式存儲系統(tǒng)中，多副本的推送會形成環(huán)狀的依賴關(guān)系，相互等待，導(dǎo)致性能劇烈波動。碧海存儲系統(tǒng)采用數(shù)據(jù)寫入磁盤后才發(fā)送確認(rèn)的方式，抑制發(fā)送方過快發(fā)送數(shù)據(jù)。

碧海存儲系統(tǒng)實(shí)現(xiàn)了針對TCP連接的IO公平性調(diào)度。在多個業(yè)務(wù)共享存儲系統(tǒng)時，運(yùn)行更穩(wěn)定。在VDI場景中，能夠?qū)崿F(xiàn)多個虛機(jī)同時顯示登錄界面的效果。

5.易用性

碧海存儲系統(tǒng)的易用性，源自對用戶體驗(yàn)的極致追求，每個菜單和交互過程，都力求符合用戶的直覺。用戶無需編寫任何配置文件，部署實(shí)施簡單快速，20節(jié)點(diǎn)1PB容量的存儲系統(tǒng)可在15分鐘內(nèi)創(chuàng)建完成;Web界面簡潔，運(yùn)維管理輕松直觀，集群、節(jié)點(diǎn)、磁盤實(shí)時性能狀態(tài)一目了然。長達(dá)一年的歷史性能記錄，為業(yè)務(wù)負(fù)載分析、故障排錯提供強(qiáng)有力的支持。

6.性能測試

在使用固態(tài)盤和native客戶端時，碧海存儲系統(tǒng)的隨機(jī)讀IOPS達(dá)到ceph的3倍，隨機(jī)寫性能達(dá)到Ceph的4倍;讀寫延遲分別為Ceph的1/3和1/4(對比版本為：Ceph 12.2.5)。碧海存儲系統(tǒng)的性能也超越了優(yōu)異的同類產(chǎn)品Scaleio。

7.客戶體驗(yàn)