Cerebras Systems和聯(lián)邦能源部國(guó)家能源技術(shù)實(shí)驗(yàn)室今天宣布，該公司的CS-1系統(tǒng)比圖形處理單元（GPU）快10，000倍。

換而言之，這意味著以前需要花費(fèi)數(shù)月時(shí)間進(jìn)行訓(xùn)練的AI神經(jīng)網(wǎng)絡(luò)，現(xiàn)在在Cerebras系統(tǒng)上僅需要進(jìn)行數(shù)分鐘的訓(xùn)練，就能完成。

Cerebras生產(chǎn)世界上最大的計(jì)算機(jī)芯片WSE。芯片制造商通常會(huì)從直徑12英寸的硅錠中切出晶圓，然后在芯片工廠中進(jìn)行處理。處理完成后，將晶片切成數(shù)百個(gè)可用于電子硬件的獨(dú)立芯片。

但是由SeaMicro創(chuàng)始人Andrew Feldman創(chuàng)立的Cerebras用整個(gè)晶圓制造出了一塊巨大的芯片。芯片的每個(gè)部分都稱為核心，以復(fù)雜的方式互連到其他核心?；ミB設(shè)計(jì)為使所有內(nèi)核保持高速運(yùn)行，因此晶體管可以一起工作。

Cerebras的CS-1系統(tǒng)使用WSE硅片大小的芯片，該芯片具有1.2萬億個(gè)晶體管，這些基本的開關(guān)電子開關(guān)是硅芯片的基礎(chǔ)。英特爾1971年的第一個(gè)4004處理器具有2，300個(gè)晶體管，而昨天宣布的Nvidia A100 80GB芯片具有540億個(gè)晶體管。

Feldman在接受VentureBeat采訪時(shí)說，CS-1的速度也比Joule超級(jí)計(jì)算機(jī)快200倍，后者在全球500強(qiáng)超級(jí)計(jì)算機(jī)中名列第82位。

Feldman說：“它顯示了創(chuàng)紀(jì)錄的性能。這也表明晶圓級(jí)技術(shù)的應(yīng)用范圍超出了AI?！?/p>

這些數(shù)據(jù)是總部位于加利福尼亞州的Cerebras采用激進(jìn)方法得出的成果，該方法創(chuàng)建了具有40萬個(gè)AI核的芯片，而不是將該晶片切成單個(gè)芯片。Feldman說，這種不尋常的設(shè)計(jì)使完成任務(wù)變得容易得多，因?yàn)樘幚砥骱蛢?nèi)存彼此靠近，并且有很多帶寬可以連接它們。該方法在不同的計(jì)算任務(wù)中適用范圍的問題仍然存在。

根據(jù)Cerebras與聯(lián)邦實(shí)驗(yàn)室合作的結(jié)果發(fā)表的一篇論文說，CS-1可以提供任何數(shù)量的中央處理器（CPU）和GPU都無法達(dá)到的性能，而中央處理器和GPU都是超級(jí)計(jì)算機(jī)中常用的。（現(xiàn)在70％的頂級(jí)超級(jí)計(jì)算機(jī)都使用了英偉達(dá)的GPU ）。Feldman補(bǔ)充說，“不管超級(jí)計(jì)算機(jī)有多大，這都是真的。”

Cerebras將在本周的SC20超級(jí)計(jì)算在線活動(dòng)中進(jìn)行演示。CS-1在計(jì)算流體動(dòng)力學(xué)方面的工作量擊敗了Joule 超級(jí)計(jì)算機(jī)，它可以模擬化油器等地方的流體運(yùn)動(dòng)。Joule 超級(jí)計(jì)算機(jī)的建造成本為數(shù)千萬美元，其中有84，000個(gè)CPU內(nèi)核分布在數(shù)十個(gè)機(jī)架上，消耗的功率為450千瓦。

根據(jù)能源實(shí)驗(yàn)室主管Brian Anderson的說法，在此演示中，Joule 超級(jí)計(jì)算機(jī)使用了16，384個(gè)內(nèi)核，而Cerebras計(jì)算機(jī)的速度提高了200倍。Cerebras花費(fèi)數(shù)百萬美元，并使用20千瓦的功率。

“對(duì)于這些工作量，晶圓級(jí)CS-1是有史以來最快的機(jī)器，”Feldman說?！岸宜绕渌幚砥鞯娜魏纹渌M合或集群都快?！?/p>

單個(gè)Cerebras CS-1的高度為26英寸，可占據(jù)三分之一的機(jī)架，并由業(yè)界唯一的晶圓級(jí)處理引擎Cerebras的WSE提供動(dòng)力。它結(jié)合了內(nèi)存性能與大帶寬，低延遲的處理器間通信以及針對(duì)高帶寬計(jì)算進(jìn)行了優(yōu)化的體系結(jié)構(gòu)。

該研究由NETL機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)工程師Dirk Van Essendelft以及Cerebras聯(lián)合創(chuàng)始人兼高級(jí)技術(shù)首席架構(gòu)師Michael James領(lǐng)導(dǎo)。經(jīng)過幾個(gè)月的努力，結(jié)果才出現(xiàn)。

2019年9月，能源部宣布與Cerebras建立合作伙伴關(guān)系，其中包括與Argonne國(guó)家實(shí)驗(yàn)室和Lawrence Livermore國(guó)家實(shí)驗(yàn)室的部署。

Cerebras CS-1于2019年11月發(fā)布。CS-1是圍繞WSE構(gòu)建的，它的體積是WSE的56倍，內(nèi)核增加了54倍，片上內(nèi)存增加了450倍，內(nèi)存帶寬增加了5788倍，并且20，833倍Cerebras說，與領(lǐng)先的GPU競(jìng)爭(zhēng)對(duì)手相比，其結(jié)構(gòu)帶寬更大。

費(fèi)爾德曼指出，CS-1可以比實(shí)時(shí)完成更快的計(jì)算，這意味著它可以在反應(yīng)開始時(shí)啟動(dòng)電廠反應(yīng)堆核心的仿真，并在反應(yīng)結(jié)束之前完成仿真。

“這些動(dòng)態(tài)建模問題具有有趣的特征，”Feldman說?！八鼈?cè)贑PU和GPU內(nèi)核之間的伸縮性很差。用計(jì)算科學(xué)家的語言來說，它們沒有表現(xiàn)出“強(qiáng)擴(kuò)展性”。這意味著，在一定程度上，向超級(jí)計(jì)算機(jī)添加更多處理器不會(huì)帶來額外的性能提升?！?/p>

Cerebras已經(jīng)籌集了4.5億美元，擁有275名員工。
責(zé)任編輯:tzh