英偉達在世界電腦會議（sc2023）上發(fā)布了最新ai芯片h200，對ai模型進行了訓(xùn)練。

英偉達大幅升級了熱門的h100人工智能gpu。新高端芯片芯片h200基于英偉達的hopper架構(gòu)，是第一個使用高帶寬內(nèi)存的gpu，速度更快。建立一個大的語言模型是必要的。推理或生成問題答案時性能比h100提高60 ~ 90%。

英偉達方面表示，以hbm3e為基礎(chǔ)，h200每秒提供4.8tb、141gb的存儲器，與a100相比，容量和帶寬分別增加2倍和2.4倍。

在備受關(guān)注的人工智能領(lǐng)域，英偉達表示，h200將進一步提高性能。llama 2（700億個llm）的推理速度是h100的兩倍。未來的軟件更新有望為h200帶來更多的性能和改進。

h200由英偉達hgx h200服務(wù)器主板4頻道和8頻道組成，可與hgx h100系統(tǒng)的硬件和軟件兼容。

據(jù)悉，大型計算機制造企業(yè)和云服務(wù)提供企業(yè)將從明年第二季度開始使用h200。亞馬遜的aws、Alphabet公司的谷歌云、微軟的azure、甲骨文的云基礎(chǔ)設(shè)施已承諾從明年開始使用該新芯片。

英偉達表示，希望通過推出新產(chǎn)品，趕上人工智能（ai）模型和服務(wù)數(shù)據(jù)集規(guī)模的增加。隨著內(nèi)存容量的增加，h200向軟件提供數(shù)據(jù)的速度將會加快，這一過程將訓(xùn)練人工智能來完成圖像和語音識別等工作。

過去英偉達通常每兩年更新一次芯片架構(gòu)，而最新的芯片架構(gòu)是hopper。但nvidia向投資者表示，隨著上月對gpu的需求劇增，原本每2年推出新的架構(gòu)，現(xiàn)在改為每1年推出新的架構(gòu)。