在數(shù)字經(jīng)濟(jì)時(shí)代，海量的數(shù)據(jù)成為數(shù)字經(jīng)濟(jì)的重要生產(chǎn)要素。特別是受新型冠狀病毒疫情影響的2020年，線下的生產(chǎn)和生活迅速的轉(zhuǎn)移到了線上，相應(yīng)的讓數(shù)據(jù)再次迎來另一波快速增長。

對(duì)于像百度智能云這樣的云廠商，海量的數(shù)據(jù)既是資產(chǎn)也是壓力，在壓力方面面臨著包括存儲(chǔ)能力和算力等資源方面的挑戰(zhàn)。

“尤其是今年一季度，百度智能云很多的云服務(wù)都是在擴(kuò)容，都是在加班加點(diǎn)來滿足客戶的需求，包括娛樂類、會(huì)議類、教育類等等，這對(duì)我們的挑戰(zhàn)也比較大。過去的過去9個(gè)月，百度智能云已經(jīng)用了10萬盤磁帶，存儲(chǔ)900多PB數(shù)據(jù)?！卑俣戎悄茉聘笨偨?jīng)理謝廣軍分享到。

這些海量數(shù)據(jù)的存儲(chǔ)對(duì)于百度智能云來講，最大問題是如何降低高昂的存儲(chǔ)成本。一方面互聯(lián)網(wǎng)公司數(shù)據(jù)量越來越大，數(shù)據(jù)保存成本負(fù)擔(dān)太重，需要大量擴(kuò)展其搜索引擎和云存儲(chǔ)。另一方面數(shù)據(jù)的合規(guī)保存。國家對(duì)互聯(lián)網(wǎng)行業(yè)的管理要求越來越嚴(yán)格，多數(shù)數(shù)據(jù)必須有歸檔。同時(shí)，國家對(duì)互聯(lián)網(wǎng)日志類數(shù)據(jù)保存時(shí)長要求超過10年。

百度智能云對(duì)于海量數(shù)據(jù)需要按照讀寫頻率和冷熱數(shù)據(jù)等特性對(duì)于存儲(chǔ)進(jìn)行不同層次的布局，“我們希望提供透明化的生命周期的管理。從產(chǎn)生的初期的熱數(shù)據(jù)到系統(tǒng)感知到其訪問頻率降低，再到?jīng)]有太多的訪問，可以做到從高性能的存儲(chǔ)平臺(tái)到冷存儲(chǔ)平臺(tái)低成本存儲(chǔ)。同時(shí)，這些數(shù)據(jù)需要調(diào)用的時(shí)候，能比較快被調(diào)用出來。” 謝廣軍講到。百度智能云需要一種既能降低成本，又能在其龐大的分布式文件系統(tǒng)中提供透明IO的解決方案。

百度智能云一方面基于新一代存儲(chǔ)介質(zhì)打造高性價(jià)比存儲(chǔ)產(chǎn)品，一方面重視軟硬件結(jié)合的方案，搭建分布式存儲(chǔ)的系統(tǒng)。據(jù)了解，百度把高IO的數(shù)據(jù)讀取放在持久內(nèi)存型的存儲(chǔ)系統(tǒng)，打造基于NVMe+RDMA技術(shù)，提供單盤百萬級(jí)IOPS及千MBps吞吐高性能SSD云磁盤。與此同時(shí)，百度基于IBM磁帶庫平臺(tái)，實(shí)現(xiàn)EB級(jí)磁帶規(guī)模應(yīng)用，這也是國內(nèi)第一家上線磁帶歸檔服務(wù)的云平臺(tái)。

如何管理海量的數(shù)據(jù)？

可以看到，百度智能云需要一個(gè)彈性的高性價(jià)比的存儲(chǔ)解決方案來管理其數(shù)據(jù)存儲(chǔ)。IBM為百度智能云提供了融合Spectrum Scale、Spectrum Archive和Tape介質(zhì)的存儲(chǔ)解決方案，通過IBM的歸檔存儲(chǔ)技術(shù)，百度智能云的對(duì)象存儲(chǔ)在產(chǎn)品實(shí)力上有了很大的增強(qiáng)。在過去的一年里，百度智能云與IBM一起攻克了許多技術(shù)的瓶頸，實(shí)現(xiàn)了業(yè)務(wù)永續(xù)化經(jīng)營，保證數(shù)據(jù)安全，幫助百度智能云進(jìn)一步朝降本增效的目標(biāo)邁進(jìn)。

IBM存儲(chǔ)一直聚焦在為客戶提供統(tǒng)一的數(shù)據(jù)管理平臺(tái)。當(dāng)企業(yè)面對(duì)云上、云下的不同的應(yīng)用的時(shí)候，IBM存儲(chǔ)基于統(tǒng)一的數(shù)據(jù)平臺(tái)，來確保企業(yè)數(shù)據(jù)的安全、共享和按需供應(yīng)。“無論您今天是塊存儲(chǔ)、文件、對(duì)象還是磁帶，IBM存儲(chǔ)解決方案可滿足客戶非常廣泛的應(yīng)用和使用的場景。無論您今天數(shù)據(jù)放在百度云上或者其他的公有云平臺(tái)上，都可以有一個(gè)非常靈活的選擇?！?IBM大中華區(qū)系統(tǒng)部存儲(chǔ)系統(tǒng)總經(jīng)理吳磊。

對(duì)于百度智能云來講，磁帶近線存儲(chǔ)資源池的建成極大地提高了IT對(duì)業(yè)務(wù)的支持力度，滿足了業(yè)務(wù)對(duì)低成本、低功耗、高空間數(shù)據(jù)密度，綠色數(shù)據(jù)中心的存儲(chǔ)需求。過去9個(gè)月，百度用了10萬盤磁帶，存儲(chǔ)900多PB數(shù)據(jù)，歸檔存儲(chǔ)產(chǎn)品相較普通存儲(chǔ)的成本降低了85%。

IBM歸檔存儲(chǔ)適用于多種業(yè)務(wù)場景?！氨热缭谝曨l這個(gè)領(lǐng)域，大家在互聯(lián)網(wǎng)視頻里面去分發(fā)的，不管是短視頻還是長視頻，都是轉(zhuǎn)碼后的視頻。不管是UGC，尤其是PGC產(chǎn)生的內(nèi)容，很大、很高清的遠(yuǎn)視大文件，這些文件轉(zhuǎn)碼后不再使用了，這種場景就很適合歸檔存儲(chǔ)，這也是數(shù)據(jù)資產(chǎn)，我們需要保存起來。” 謝廣軍舉例說明。在IBM的幫助下，百度智能云在過去一年中積累了豐富的業(yè)務(wù)應(yīng)用場景。另外還有石油勘探、醫(yī)療影像、基因測序分析和物聯(lián)網(wǎng)相關(guān)的數(shù)據(jù)等也可以放在歸檔存儲(chǔ)上。

同時(shí)，基于IBM Spectrum Scale（原GPFS）存儲(chǔ)軟件方案，IBM還在數(shù)據(jù)孤島之間建立高效、安全、穩(wěn)定的數(shù)據(jù)管道，這對(duì)業(yè)務(wù)本身的數(shù)據(jù)流通和融合提供很大的幫助。對(duì)于百度智能云來講，統(tǒng)一接口屏蔽介質(zhì)差異，使得百度的數(shù)據(jù)在整個(gè)生命周期中流轉(zhuǎn)更順暢，業(yè)務(wù)可以0成本獲得更高性價(jià)比。

使用IBM的歸檔存儲(chǔ)技術(shù)之前，百度智能云的對(duì)象存儲(chǔ)分為高性能存儲(chǔ)、標(biāo)準(zhǔn)存儲(chǔ)和低頻存儲(chǔ)，這些其實(shí)是基于磁盤的。相比之下，有些客戶提出需要更高的性價(jià)比、保存時(shí)間更長的存儲(chǔ)產(chǎn)品與服務(wù)。此時(shí)引入IBM的技術(shù)則為百度智能云打造下一個(gè)階梯的存儲(chǔ)產(chǎn)品帶來了能力補(bǔ)充，補(bǔ)齊了百度智能云存儲(chǔ)產(chǎn)品矩陣的最后一塊“積木”。同時(shí)IBM歸檔存儲(chǔ)技術(shù)還做到了磁帶作為近線存儲(chǔ)，通過整套部署，庫體滿配，磁帶不出庫就可以對(duì)磁帶數(shù)據(jù)進(jìn)行不定期訪問。

對(duì)于百度智能云來講無論是支撐其內(nèi)部的業(yè)務(wù)，還是外部客戶的業(yè)務(wù)，需要7×24小時(shí)近線存儲(chǔ)。IBM歸檔存儲(chǔ)技術(shù)可以實(shí)現(xiàn)在一到兩分鐘之內(nèi)讀到幾十TB的一個(gè)磁帶數(shù)據(jù)，過去是很多客戶不可想象的。

可以說基于IBM存儲(chǔ)分布式系統(tǒng)結(jié)合百度智能云自己的分布式文件系統(tǒng)。就能夠?qū)崿F(xiàn)百度智能云對(duì)外服務(wù)的溫、熱、冷，幾種不同的數(shù)據(jù)通道打通，數(shù)據(jù)根據(jù)自己的生命周期自由去流動(dòng)。

責(zé)任編輯：gt