新基建對數(shù)據(jù)處理提出了挑戰(zhàn)

①海量：海量數(shù)據(jù)的不斷涌現(xiàn)，到2025年全球新創(chuàng)建的數(shù)據(jù)將達(dá)到175ZB。

②多元：數(shù)據(jù)從單一內(nèi)部小數(shù)據(jù)形態(tài)向多元動態(tài)大數(shù)據(jù)發(fā)展，數(shù)據(jù)環(huán)境多樣、復(fù)雜，大量文本、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)被產(chǎn)生和存儲。

③實時：金融風(fēng)險評估、交通自動駕駛、運營商智能網(wǎng)絡(luò)等場景，都得依賴快速實時的數(shù)據(jù)采集、存儲和分析得以實現(xiàn)，到2023年實時數(shù)據(jù)占全球數(shù)據(jù)圈24.5%的份額。

④上云：未來全球?qū)⒂谐^70%的企業(yè)選擇多云部署模式，核心數(shù)據(jù)中心的數(shù)據(jù)存儲容量占比將超過50%。

⑤空間：目前只有不到2%的企業(yè)數(shù)據(jù)被存儲下來，其中只有10%被用于數(shù)據(jù)分析，這說明，我國數(shù)據(jù)存儲利用能力存在很大缺口。

分布式存儲和分布式系統(tǒng)的提升

簡單說，分布式存儲就是一種數(shù)據(jù)存儲技術(shù)，通過網(wǎng)絡(luò)使用每臺機(jī)器上的磁盤空間，并將這些分散的存儲資源構(gòu)成一個虛擬的存儲設(shè)備，數(shù)據(jù)分散地存儲在網(wǎng)絡(luò)中的各個角落。

打個比方：假設(shè)將數(shù)據(jù)類比為一個人，存儲比作客車，直接存儲就是一輛客車運輸人;一到春運，客車不夠運輸了就采用火車和高鐵進(jìn)行運輸，火車和高鐵一節(jié)一節(jié)的車廂運輸，就是分布式存儲。

分布式系統(tǒng)的出現(xiàn)的根由就是是為了用普通的機(jī)器完成單個計算機(jī)無法完成的計算、存儲任務(wù)，處理更多的數(shù)據(jù)。

①容量橫向擴(kuò)展：集群容量的擴(kuò)展，通過增加存儲節(jié)點實現(xiàn)，因為網(wǎng)絡(luò)強大的擴(kuò)展性，在理論上節(jié)點可以擴(kuò)充到幾千個，可以很好的滿足海量存儲容量需求。

②連接橫向擴(kuò)展：在傳統(tǒng)存儲應(yīng)用中，網(wǎng)絡(luò)接入帶寬往往成為瓶頸，主要原因是存儲對外接口數(shù)量擴(kuò)展能力有限，而分布式存儲則可以很好地解決這個問題，接口數(shù)量可以隨節(jié)點數(shù)量的增加，實現(xiàn)接入帶寬的行增長。

③性能線性提升：每個節(jié)點的性能（IOPS帶寬）基本是確定的，整體性能隨節(jié)點數(shù)量的增加線性提升，滿足業(yè)務(wù)規(guī)模擴(kuò)容后對性能的需求。

5G+分布式云加速邊緣賦能新基建

我國5G已正式進(jìn)入規(guī)?；逃秒A段，邊緣側(cè)連接需求較大的業(yè)務(wù)場景迎來蓬勃發(fā)展的新契機(jī)。

在此趨勢下，邊緣賦能需求驅(qū)動云計算能力下沉，分布式云成為計算架構(gòu)演進(jìn)新趨勢。

5G與分布式云融合，正加速邊緣賦能新基建，同時催生的海量邊緣連接場景，驅(qū)動云計算向一種更加全局化的分布式組合模式進(jìn)階。

伴隨5G大規(guī)模商用部署，工業(yè)互聯(lián)網(wǎng)、數(shù)字媒體等行業(yè)在5G融合方面已逐步開展商業(yè)部署，智慧醫(yī)療、車聯(lián)網(wǎng)、智慧城市、數(shù)字農(nóng)業(yè)等領(lǐng)域也紛紛在5G應(yīng)用方面探索實踐。

分布式云應(yīng)運而生，成為新基建重要力量，邊緣賦能需求驅(qū)動云計算能力下沉，分布式云成為計算架構(gòu)演進(jìn)新趨勢。

MEC（Multi-access Edge Computing）邊緣云較之傳統(tǒng)云計算，MEC邊緣云強調(diào)聯(lián)接能力與計算能力的結(jié)合，包含覆蓋資源層、虛擬化層、平臺層、應(yīng)用層的完整架構(gòu)體系，并強調(diào)本地分流、網(wǎng)絡(luò)能力開放、網(wǎng)絡(luò)資源管理等特有能力。

有望取代HTTP的IPFS被寄予了厚望

互聯(lián)網(wǎng)是建立在HTTP協(xié)議之上的，HTTP協(xié)議讓互聯(lián)網(wǎng)得到了迅速的發(fā)展，但是在互聯(lián)網(wǎng)發(fā)展的今天，HTTP逐漸走出了不足，HTTP集中效率低下，而且成本很高。

現(xiàn)行網(wǎng)絡(luò)所基于的HTTP協(xié)議中心化特性所導(dǎo)致的問題正在日益凸顯，下載速度慢、數(shù)據(jù)安全性差、存儲成本高、數(shù)據(jù)留存時間短、帶寬有限且昂貴等桎梏顯然適應(yīng)不了即將來臨的新時代。

IPFS（分布式文件系統(tǒng)）是一種點對點的超媒體傳輸協(xié)議，基于內(nèi)容尋址的它相比HTTP下載速度快、數(shù)據(jù)安全性高、存儲成本低廉、數(shù)據(jù)留存時間長，加入網(wǎng)絡(luò)中的人越多網(wǎng)絡(luò)越流暢。

在疫情沒有爆發(fā)前，據(jù)統(tǒng)計IPFS在2019全年公共網(wǎng)絡(luò)增長了30倍，在有效存儲數(shù)據(jù)方面全球累計獲得了300多億份，目前還在以每兩年翻一倍的速度爆發(fā)式增長。

這和IPFS目前被成功應(yīng)用在數(shù)據(jù)存儲、內(nèi)容分享、文件傳輸、網(wǎng)絡(luò)視頻、社交網(wǎng)絡(luò)、去中心化交易、身份服務(wù)、區(qū)塊鏈應(yīng)用、金融電商等各個領(lǐng)域的生態(tài)息息相關(guān)。

5G技術(shù)與應(yīng)用即將井噴式發(fā)展的當(dāng)下，爆發(fā)性增長的數(shù)據(jù)存儲需求也是推動存儲技術(shù)變革的重要推動力。

5G的出現(xiàn)還給IPFS提供了高帶寬，使IPFS更加便捷，新基建、5G與IPFS結(jié)合必將會共建存儲新時代。

分布式存儲仍面臨若干技術(shù)瓶頸

①目前的分布式存儲暫時無法實現(xiàn)數(shù)據(jù)價值分層，難以實現(xiàn)有效激勵，可以考慮將底層構(gòu)架和應(yīng)用層策略相結(jié)合;

②分布式存儲從代碼實現(xiàn)到協(xié)議層都有很大的優(yōu)化空間，還會受到網(wǎng)絡(luò)規(guī)模限制，存在I/O性能問題;

③存儲數(shù)據(jù)價值較高的用戶需要承擔(dān)更大的服務(wù)質(zhì)量風(fēng)險，付費意愿較弱，需要應(yīng)用層解決方案。

④考慮到系統(tǒng)運維成本、服務(wù)質(zhì)量和宏觀監(jiān)管等問題，未來的分布式存儲系統(tǒng)需要引入中心化組織形式來彌補運營成本。

結(jié)尾：

疫情在一定程度上倒逼了數(shù)字經(jīng)濟(jì)的發(fā)展，在這種情況下，新基建的異軍突起也就變得順理成章了。

這次新冠疫情可以視為一次壓測，基于5G、云計算、大數(shù)據(jù)、AI的新基建帶來的存儲變革正在釋放。
責(zé)編AJX