就在前幾天的Storage Filed Day上，VAST DATA公司橫空出世，進入公眾視野。這個存儲的技術(shù)論壇，歷來是存儲創(chuàng)業(yè)公司做宣傳的第一步，但是在上面直接發(fā)布公司的確實不多。目前有點名氣的存儲廠商，都在上面有過演講，國內(nèi)廠商，目前只有華為敢在上面亮相，因為下面的都是大V現(xiàn)場互動，技術(shù)上沒有幾把刷子，英語不行的幾乎都不敢去。

VAST DATA其實就是海量數(shù)據(jù)的意思，其實產(chǎn)品理念也沒有啥特別的，就是用全閃存來消滅機械硬盤。剛一開始我以為又一個AFA創(chuàng)業(yè)公司而已。這些故事我們前面聽過很多遍了，Pure Storage現(xiàn)在人家還打算用閃存消滅磁帶呢，VAST你消滅硬盤，做夢吧。

因為，大家都知道，目前大容量硬盤和SSD的單位容量價格差還有10倍以上，在歸檔存儲和冷存儲市場，SSD成本太高了，怎么可能是HDD的對手。Pure Storage可以消滅高性能硬盤，但是還是承認冷存儲還得用大容量HDD。

不過，我看到宣傳說他們拿了80m的融資，而且Dell也投資了，還是想看看他們是僅僅喊喊口號，也許真的有兩把刷子呢。

特別是看了他們的創(chuàng)業(yè)團隊，CEO原來是原來XtremIO的第一位工程師，管研發(fā)的VP原來是Kaminario的CTO，其他三位高管也來自Pure Storage和EMC，DDN等大名鼎鼎的存儲公司，我覺得好像有點意思。因為他們做的東西肯定和XtremIO，Pure Storage和Kaminario不同。

而且，在會上，他們還宣布，把Storage Filed Day的?？停骎 Horward也挖過去了。VAST總裁說Horwards目光如炬，怕他看出他們產(chǎn)品的問題，先策反他再說，挺幽默的。

我看了一下Horward的LikedIn，發(fā)現(xiàn)其頭銜好有意思：杰出技術(shù)專家&全權(quán)大使，第一次看到這么有趣的頭銜，希望有一天我也能混一個這么有逼格的頭銜。

VAST公司，其實2016年就成立了，并且在2018年底產(chǎn)品都GA了，都賣了不少了，但直到上周才發(fā)布公司。這也是有點不一樣，以前很多公司都是公司發(fā)布以后才出產(chǎn)品的。從這點看，VAST怕大家都不信他們能夠消滅硬盤，只是一個PPT公司，因此提前先把產(chǎn)品做出來再發(fā)布公司。目前為止，他們已經(jīng)拿了80m投資，包括Dell也投了。

VAST的理念其實很簡單，就是原來的存儲都是分層的。不同的層用不同的介質(zhì)和設備，在主存儲現(xiàn)在大多是全閃存，在第二存儲和備份，機械硬盤還是主力，因為數(shù)據(jù)量太大，成本的原因。

而VAST DATA開發(fā)了一直全新的架構(gòu)，他們叫通用存儲（注意不叫統(tǒng)一存儲），也就是一個存儲搞定，沒有啥分層的必要。因為他們采用最便宜的QLC介質(zhì)，利用獨特的數(shù)據(jù)保護和縮減技術(shù)，成本可以做到硬盤的水平。因為硬盤存在的唯一理由就是成本，成本優(yōu)勢沒有了，硬盤就沒有必要保留了，什么第二存儲，備份專用存儲也統(tǒng)統(tǒng)沒有了。

其實有這種思路的人很久就有了，但是為什么以前一直沒法實現(xiàn)？因為QLC和SCM在2018年底才開始商用，以前沒有這些技術(shù)，因此是一個不可能的任務。但現(xiàn)在Intel的傲騰內(nèi)存出來了，QLC盤業(yè)界也有了，加上原來的NVMe-oF技術(shù)，才使得這件事變成可能。

VAST其實架構(gòu)也很簡單，控制器采用容器技術(shù)部署，全部都是無狀態(tài)的，可以擴充到1000個節(jié)點，后端通過NVMe-oF網(wǎng)狀連接閃存框，閃存框里面有少量的SCM做寫Cache，后面插大量的QLC盤。這種架構(gòu)的好處就是容量和性能可以單獨擴展，有分布式存儲的好處，但是和一般的SDS不同的就是，控制框可以看到所有的SSD盤，這得依賴NVMe-oF。不過，這也沒有啥特別的，Kaminario也是這樣的架構(gòu)，但是Kaminario賣得好像一般啊，因為其SSD還是采用企業(yè)級的SSD，太貴了。

看來，原Kaminario的CTO把K2.N的思路帶到了VASA。

但是，肯定不能像K2.N一樣采用企業(yè)級SSD，否則成本下不來，不可能取代硬盤的。

VAST說起采用全新的數(shù)據(jù)結(jié)構(gòu)，支持云級別的擴展。

目前只支持NFS和S3協(xié)議，因為目前主打大數(shù)據(jù)場景。一般的關(guān)鍵應用場景，數(shù)據(jù)量不大，但對可靠性要求極高，新公司一般不去碰。因為這種場景用戶比較保守，不敢求新，寧可求穩(wěn)，選擇老牌供應商。VAST說其采用自我描述的數(shù)據(jù)結(jié)構(gòu)，保存在閃存上，控制器采用無狀態(tài)的容器即可。

前面的描述我覺得都沒有什么，很多創(chuàng)業(yè)公司都做了。關(guān)鍵是后面，即QLC的寫壽命那么差，如何支持生產(chǎn)系統(tǒng)？還有，QLC的介質(zhì)雖然可以采用消費級顆粒，但單位成本還是要比硬盤高?。咳绾卧跀?shù)據(jù)縮減上下功夫，使得有效成本低于硬盤？

我們看到，QLC盤的介質(zhì)壽命目前不到500次，而且面向消費級，都是單端口的，也沒有掉電保護，也就是沒有緩存，因此寫的性能是比較差的。

雖然QLC有這么多缺點，但讀的性能和企業(yè)SSD是一樣的。通過引入SCM做緩沖，這些缺點克服就比較容易了。

針對生產(chǎn)系統(tǒng)，那個500次寫壽命怎么克服？這就是NVMe-oF的優(yōu)勢了，因為這是一個大容量系統(tǒng)，控制器可以看到（訪問）每塊QLC SSD，比如你有1PB的容量，那么每個顆粒可以寫500次，這套AFA的整體壽命就是500PB寫。因為生產(chǎn)數(shù)據(jù)只占一小部分，大部分是溫數(shù)據(jù)和熱數(shù)據(jù)，因此所有的盤均攤開來，單盤的寫壽命就根本不是問題。這種思路的好處就是不需要Open-Channel的SSD盤，但是做了一個全局的磨碎均衡，但是不用管垃圾回收。

解決壽命問題后，我們來看看怎么解決成本問題。由于控制器可以訪問所有的SSD，因此，VAST采用非常寬條帶的糾刪碼方式，比如150+4，甚至500+10。因為一個企業(yè)只需要部署一套這個系統(tǒng)，因此盤的數(shù)量肯定很多，也就是使得這樣的糾刪碼成為可能。這樣，系統(tǒng)的得盤率就太高了，幾乎達98%。是不是很驚人？你用硬盤的三副本，我用閃存的500+10糾刪碼，不用算就知道幾乎多了3倍的得盤率。成本的因素基本就解決一大半了。

但是，這么長條帶，系統(tǒng)重構(gòu)就是問題了。比如500+10，壞了一塊盤，需要讀500多塊盤，重構(gòu)的時間就太長了。為了解決這個問題，VAST增加了額外的檢驗位，比如10個SSD或者20個SSD一組，組內(nèi)再生成一個冗余的校驗。這樣，如果這個組里只壞一塊盤，那么只需要讀10-20塊盤的數(shù)據(jù)，重構(gòu)數(shù)據(jù)快多了，而且系統(tǒng)比一般的EC也可靠多了。這一切的一切，都需要靠SCM來輔助，因為數(shù)據(jù)盡量需要在SCM里倒騰，然后整條帶寫到SSD里。

數(shù)據(jù)保護講完了，我們來看看數(shù)據(jù)縮減。大家可能馬上想到傳統(tǒng)的重刪和壓縮，但是，這兩個技術(shù)VAST都沒有用。因為傳統(tǒng)的壓縮雖然可以基于byte的粒度，但不是全局的，壓縮率一般。而重刪雖然是做全局的，但一般都是KB粒度的重刪，因為需要管理元數(shù)據(jù)，這個重刪粒度不能太小，不能基于byte的粒度去做。

因此，VAST發(fā)明了一直全新的數(shù)據(jù)縮減方法，首先是全局的，但可以基于byte的粒度來對比。其實原理也很簡單，也就是針對數(shù)據(jù)塊先做hash，然后對比每個指紋的差距，把類似的指紋放一起進行壓縮。因為這些數(shù)據(jù)非常相似，壓縮粒度又可以做到byte粒度，因此，把共性的部分提出來，其他數(shù)據(jù)塊只保留不同的byte就可以了。

VAST號稱比傳統(tǒng)的重刪壓縮效果還要好，而且有一個特點，即對已經(jīng)重刪和壓縮，甚至加密過的數(shù)據(jù)都有效果，雖然效果差一些。傳統(tǒng)的重刪壓縮可是對加密數(shù)據(jù)無能為力的。

正是由于這些獨創(chuàng)的技術(shù)，因此，VAST就消滅了各層存儲的區(qū)別，不再需要主存儲，第二存儲和備份存儲，都放進來好了。全閃的性能，但硬盤的價格，很多情況可能比硬盤還低，特別是數(shù)據(jù)量越大，優(yōu)勢就越明顯。

目前VAST提供三種部署模式，一體機模式；或者把控制器以容器方式部署在主機里，這是有點像融合模式；或者是全軟件模式（100PB以上規(guī)模）。

我們看看一體機的硬件配置，4個服務器起步，閃存框可以只有一個。閃存框采用50/100G以太或IB互聯(lián)，控制框?qū)ν庵恢С諲FS和S3，因此肯定就是以太口了。

由于目前市場上的消費級QLC一般是M.2的接口，因此目前VAST估計還需要加一個接口轉(zhuǎn)換，做成普通盤的U.2接口，這樣才好熱插拔。當然，也有封裝成U.2接口的，這樣就可以直接拿來用了。不過，這種盤可能用的企業(yè)級的QLC，成本可能就高了一些。

這樣的AFA特別適合AI和HPC等需要大量讀取數(shù)據(jù)的場景，特別是內(nèi)存計算技術(shù)。當然，成本夠低，用做備份也完全可以。

和英偉達的大狗熊（DGX-1/2）配合，支持兩種部署模式，一直是傳統(tǒng)的方式，一直是把容器控制器直接部署到大狗熊的機箱了，性能更高。因為大狗熊特別貴，這樣可以充分發(fā)揮大狗熊的價值，讓大狗熊加載數(shù)據(jù)時很快，充分喂飽大狗熊。

由于控制器是容器部署，在容器場景下可以和K8s聯(lián)合動態(tài)編排，管理起來非常方便。

也可以一部分容器支持GPU，一部分容器支持常規(guī)的NFS HPC計算，混合部署，非常靈活。

甚至，如果時延小于5ms，甚至可以把計算部署到公有云里，通過S3訪問AFA的數(shù)據(jù)，這樣數(shù)據(jù)就可以不上云。

VAST還做了一個數(shù)據(jù)縮減的測試，采用備份軟件CV重刪壓縮過的數(shù)據(jù)，VAST還能做到6:1的縮減率，如果在CV上把壓縮關(guān)了，其數(shù)據(jù)縮減甚至做到了22:1。因此，我們看到，CV不做壓縮，整體的數(shù)據(jù)縮減率更高，因為VAST是全局的基于byte的數(shù)據(jù)縮減。

VAST也提供了常用的數(shù)據(jù)格式的數(shù)據(jù)縮減率，我們看到像媒體這樣做過壓縮的數(shù)據(jù)，也能做到2倍以上的數(shù)據(jù)縮減率。而這些數(shù)據(jù)格式，傳統(tǒng)的重刪壓縮基本沒有太大效果。

到目前為止，我覺得VAST的這些設計還真是獨辟蹊徑，確實解決了現(xiàn)在閃存價格居高不下的問題，如果容量夠大，從成本上應該比硬盤還好，但性能卻是閃存的性能。關(guān)鍵整體的思路還是軟件定義的思路，不需要你做硬件，你只需要用最新的硬件就可以了。

至少目前來看，我還沒有看到這個架構(gòu)的缺點。雖然暫時只支持NFS和S3，沒有對塊的支持，但全閃的NFS，我相信性能應該也滿足關(guān)鍵業(yè)務傳統(tǒng)數(shù)據(jù)庫的需求。只是目前VAST還沒有兩地三中心的災備方案，加上是新公司，大家不會在關(guān)鍵業(yè)務上冒險。

不知道Dell未來是否會收購VAST DATA，這樣中國市場就能看到這個神奇的產(chǎn)品了。因為，如果不收購，進國內(nèi)就麻煩了，國內(nèi)的VAST DATA已經(jīng)被一個北京海量數(shù)據(jù)公司注冊了，這個公司還是上市公司，他們在Oracle數(shù)據(jù)庫運維方面實力超群（據(jù)說挖了很多Oracle原廠售后），很多銀行的代維都是找他們。而且，他們也做存儲，比如銷售HDS的存儲，也正在研發(fā)自己的大數(shù)據(jù)一體機和存儲。不過，中外兩個海量數(shù)據(jù)公司聯(lián)合起來，也不是沒有可能，O(∩_∩)O哈！

我一直以為AFA的創(chuàng)新已經(jīng)沒有太多搞頭，下一個風口應該是第二存儲了，現(xiàn)在看來，AFA還是有機會的，第一次AFA浪潮消滅了高性能機械硬盤，這第二波AFA浪潮看來要消滅大容量機械硬盤了。

難度機械硬盤和固態(tài)硬盤就不能好好玩耍嗎？會不會就像很多年以前說得消滅大機，消滅磁帶一樣，消滅機械硬盤也許也沒有那么容易。不過，現(xiàn)在大機，磁帶市場確實在萎縮，雖然是晚年，但垂而不死。但大容量硬盤現(xiàn)在卻是如火如荼，各個硬盤廠商爭相發(fā)布更大容量的硬盤，正值青壯年。難道，他們的晚年這么快到了？