?

2022年8月底，稀疏化計(jì)算引領(lǐng)者——墨芯人工智能攜高稀疏率計(jì)算卡S30、S10和S4參展「GTIC 2022全球AI芯片峰會(huì)」（以下簡(jiǎn)稱(chēng)GTIC），展現(xiàn)稀疏化計(jì)算在AI算力和能效比上的領(lǐng)導(dǎo)力，以及推動(dòng)AI計(jì)算向更高算力、更高能效比、更低成本快速發(fā)展的最新商業(yè)進(jìn)展。

在剛結(jié)束的上午會(huì)議中，墨芯當(dāng)選“2022中國(guó)AI芯片企業(yè)50強(qiáng)”。

GTIC由人工智能和芯片領(lǐng)域權(quán)威媒體智一科技舉辦，本次于今年26日-27日在深圳灣萬(wàn)麗酒店大宴會(huì)廳舉行。

在此次GTIC的核心展臺(tái)——5號(hào)展臺(tái)，墨芯人工智能首次向業(yè)內(nèi)全面發(fā)布首批高稀疏率計(jì)算卡S4、S10和S30。

?

?

云端AI芯片市場(chǎng)持續(xù)擴(kuò)容

稀疏化計(jì)算有力滿(mǎn)足下游市場(chǎng)降本增效的需求

峰會(huì)以“不負(fù)芯光 智算未來(lái)”為主題，設(shè)置五大主題論壇——AI芯片高峰論壇、云端AI芯片專(zhuān)題論壇、邊緣端AI芯片專(zhuān)題論壇等。26日下午墨芯人工智能創(chuàng)始人兼CEO王維以“面向未來(lái)的稀疏化計(jì)算”發(fā)表演講，全面闡述了稀疏化計(jì)算如何推動(dòng)AI計(jì)算降本增效，以及這其中蘊(yùn)含的社會(huì)價(jià)值和經(jīng)濟(jì)價(jià)值。

?

AI、5G等新興產(chǎn)業(yè)的蓬勃發(fā)展催生了海量數(shù)據(jù)和計(jì)算需求，市場(chǎng)需要強(qiáng)大、普惠的算力引擎。公開(kāi)數(shù)據(jù)顯示，2021-2025年中國(guó)云端AI芯片市場(chǎng)規(guī)模CAGR預(yù)計(jì)達(dá)29%。云端AI芯片重點(diǎn)面向互聯(lián)網(wǎng)、泛政府、行業(yè)應(yīng)用等下游細(xì)分市場(chǎng)，國(guó)內(nèi)廣闊的市場(chǎng)空間為有實(shí)力的高端AI芯片廠商帶來(lái)崛起機(jī)遇，這個(gè)市場(chǎng)背景對(duì)于稀疏化計(jì)算的發(fā)展可謂天時(shí)地利人和。

墨芯是全球最早研發(fā)稀疏化算法及架構(gòu)的企業(yè)之一，并在2018年開(kāi)始稀疏化的全球?qū)＠季帧?/p>

所謂稀疏化計(jì)算，是一種以人腦得到靈感的模型壓縮方法。簡(jiǎn)單來(lái)說(shuō)，就是通過(guò)底層創(chuàng)新、軟硬協(xié)同設(shè)計(jì)，讓神經(jīng)網(wǎng)絡(luò)模型消減冗余，以提高計(jì)算效率。

稀疏化計(jì)算相較于業(yè)內(nèi)其他AI加速技術(shù)，并不是微量的差異化創(chuàng)新，而是能夠讓性能帶來(lái)十倍、百倍的創(chuàng)新。

王維拿標(biāo)志性的AI大模型——GPT-3來(lái)舉例說(shuō)明稀疏化計(jì)算的驚人性能表現(xiàn)。GPT-3有1700多億參數(shù)，如果放在GPU上去做推理的話(huà)，需要內(nèi)存量是要幾百G，也就是需要很多張80G的GPU，且會(huì)有明顯時(shí)延；但通過(guò)稀疏化計(jì)算，用一張墨芯S30計(jì)算卡，就可以跑通GPT-3，并且計(jì)算速度還變快了很多。

S30計(jì)算卡算力超90000 FPS

TCO約為競(jìng)品1/3

墨芯正通過(guò)打造這一套芯片和軟硬件產(chǎn)品，去推動(dòng)深度學(xué)習(xí)往更高算力、更大規(guī)模、更低計(jì)算成本的方向去發(fā)展。

墨芯此次展出的S4、S10和S30均搭載墨芯三顆芯片Antoum，分別為單芯片卡、雙芯片卡和三芯片卡，專(zhuān)注于數(shù)據(jù)中心AI推理應(yīng)用，可廣泛應(yīng)用于互聯(lián)網(wǎng)、運(yùn)營(yíng)商、生命科學(xué)、自動(dòng)駕駛等眾多AI推理場(chǎng)景，滿(mǎn)足客戶(hù)對(duì)性能和功耗不同的組合需求。

Antoum是首個(gè)商用高稀疏率芯片，于2022年元旦一次流片成功，實(shí)測(cè)性能顛覆性提升。基于Antoum的單芯片計(jì)算卡S4首次推出后經(jīng)過(guò)多方性能實(shí)測(cè)，具有以下特點(diǎn)：

1

高吞吐：

單芯片計(jì)算卡S4實(shí)運(yùn)行ResNet-50算力達(dá)33197 FPS

2

低功耗：

S4穩(wěn)定功耗僅有70W左右，實(shí)測(cè)性能對(duì)表國(guó)際大廠主流推理卡主近6倍能效比

3

低延時(shí)：

墨芯板卡S4（單顆Antoum）對(duì)比主流GPU產(chǎn)品，延時(shí)可以做到后者的1/4~1/5

三芯片卡S30在250W功率下提供等效于 2832 TOPS INT8 和 1415.4 TFLOPS BF16 的算力（32倍稀疏化）。板載60GB LPDDR4x內(nèi)存，S30可以提供高達(dá)252 GB/s 理論內(nèi)存峰值訪(fǎng)問(wèn)帶寬。

墨芯人工智能S30計(jì)算卡

實(shí)測(cè)數(shù)據(jù)顯示，S30相較于S4和S10，可提供更高的算力。ResNet-50和Bert-Large模型在S4、S10和S30計(jì)算卡的測(cè)試結(jié)果如下所示：

S30和S4、S10計(jì)算卡在ResNet-50和Bert-Large模型推理結(jié)果對(duì)比

TCO為主流競(jìng)品約1/3

已有多家客戶(hù)

稀疏化生態(tài)發(fā)力三大市場(chǎng)

流片成功僅半年，墨芯人工智能已在核心細(xì)分市場(chǎng)獲得幾家客戶(hù)。在互聯(lián)網(wǎng)市場(chǎng)，墨芯已在一些頭部互聯(lián)網(wǎng)公司進(jìn)入適配階段；在垂直行業(yè)市場(chǎng)，墨芯也與生命科學(xué)領(lǐng)域部企業(yè)項(xiàng)目落地。

在未來(lái)一個(gè)階段中，墨芯將圍繞互聯(lián)網(wǎng)、泛政府行業(yè)及垂直行業(yè)三大方向進(jìn)行市場(chǎng)推廣。在定價(jià)上，墨芯將整個(gè)算力服務(wù)器的TCO（總擁有成本）達(dá)到現(xiàn)有主流產(chǎn)品的1/2，甚至1/3。

王維此前在接受智東西專(zhuān)訪(fǎng)時(shí)曾表示，稀疏化計(jì)算是一個(gè)通用的發(fā)展方向，它在技術(shù)層面上沒(méi)有什么局限性?，F(xiàn)在最大的挑戰(zhàn)是關(guān)于稀疏化的計(jì)算生態(tài)。只有生態(tài)完備，這些產(chǎn)品才能夠更快速地讓各個(gè)行業(yè)的用戶(hù)快速使用起來(lái)、熟悉起來(lái)。

因此，墨芯面對(duì)的下一步更大的挑戰(zhàn)是如何未來(lái)去建立一個(gè)生態(tài)同盟的合作關(guān)系。

在算法生態(tài)方面，由于墨芯是從算法創(chuàng)新，與當(dāng)下主流算法框架高度兼容，已通過(guò)眾多SDK布局TensorFlow、PyTorch等主流框架接口，讓客戶(hù)在使用時(shí)好像“仍然是在用原來(lái)的平臺(tái)一樣”。

在硬件生態(tài)上，墨芯也與市面上主流服務(wù)器廠商展開(kāi)合作，比如而在一個(gè)月前，墨芯剛剛與浪潮信息簽訂元腦戰(zhàn)略合作協(xié)議，通過(guò)加入計(jì)算生態(tài)進(jìn)行市場(chǎng)推廣。而后，墨芯也將與其他服務(wù)器提供商以及運(yùn)營(yíng)商開(kāi)放生態(tài)合作。

近日，墨芯已成為非營(yíng)利性機(jī)器學(xué)習(xí)開(kāi)放組織MLCommons會(huì)員，后者由谷歌、英偉達(dá)、英特爾、Facebook、浪潮等全球AI領(lǐng)軍企業(yè)創(chuàng)建，每年會(huì)發(fā)布業(yè)內(nèi)權(quán)威AI基準(zhǔn)測(cè)試MLPerf。今年9月，將公布墨芯首批稀疏化計(jì)算卡S4和S30在MLPerf推理測(cè)試V2.1的性能測(cè)試結(jié)果，有望代表國(guó)產(chǎn)AI芯片達(dá)到一個(gè)新里程碑。