GTC 2023直播：英偉達(dá)推出Hopper GPU，速度比PCIE快7倍
針對(duì)ChatGPT等大型語(yǔ)言模型的推理，我們宣布推出一款新的Hopper GPU配備雙GPU NVLINK的PCIE H100
同時(shí)還可支持商用PCIE服務(wù)器輕松擴(kuò)展
目前在云上唯一可以實(shí)際處理ChatGPT的GPU是HGX A100與適用于GPT-3處理的HGX A100相比，一臺(tái)搭載四對(duì)H100及雙GPU NVLINK的標(biāo)準(zhǔn)服務(wù)器的速度
H100可將大型語(yǔ)言模型的處理成本，降低一個(gè)數(shù)量級(jí)
Grace Hopper非常適合處理大型數(shù)據(jù)集，例如適用于推薦系統(tǒng)和大型語(yǔ)言模型的AI數(shù)據(jù)庫(kù)。
如今，利用大容量?jī)?nèi)存，CPU會(huì)存儲(chǔ)和查詢巨型嵌入表，然后將結(jié)果傳輸?shù)紾PU進(jìn)行推理，借助Grace-Hopper， Grace可以查詢嵌入表，并將結(jié)果直接傳輸?shù)紿opper速度比PCIE快7倍
GTC 2023主題直播地址：https://t.elecfans.com/live/2302.html
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
cpu
+關(guān)注
關(guān)注
68文章
11281瀏覽量
225090 -
服務(wù)器
+關(guān)注
關(guān)注
14文章
10256瀏覽量
91521 -
gtc
+關(guān)注
關(guān)注
0文章
74瀏覽量
4766 -
ChatGPT
+關(guān)注
關(guān)注
31文章
1598瀏覽量
10279
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
豪言自家芯片比英偉達(dá)GPU強(qiáng)10倍，這家AI公司再獲融資
電子發(fā)燒友網(wǎng)報(bào)道（文 / 吳子鵬）在 AI 算力需求呈指數(shù)級(jí)增長(zhǎng)的今天，英偉達(dá)憑借其 GPU 和 CUDA 生態(tài)構(gòu)筑的 “護(hù)城河” 似乎堅(jiān)不可摧。然而，一股由前谷歌 TPU 核心工程師組成
NVIDIA新聞：英偉達(dá)10億美元入股諾基亞 英偉達(dá)推出全新量子設(shè)備
研發(fā)并推出相關(guān)產(chǎn)品。 英偉達(dá)CEO黃仁勛出現(xiàn)在美國(guó)華盛頓的GTC DC大會(huì)上的演講中表示；“今天我們宣布與諾基亞建立了合作關(guān)系，諾基亞是世界第二大電信制造商，這是一個(gè)價(jià)值3萬(wàn)億美元的產(chǎn)
今日看點(diǎn)：蘋果認(rèn)證中國(guó)快充品牌遭美調(diào)查；英偉達(dá)擬向OpenAI投資最高1000億美元
系統(tǒng)建設(shè)并部署至少10吉瓦的人工智能（AI）數(shù)據(jù)中心，用于訓(xùn)練和運(yùn)行下一代模型。這一耗電量相當(dāng)于800萬(wàn)戶美國(guó)家庭的用電量。 英偉達(dá)CEO黃仁勛曾表示，10吉瓦相當(dāng)于400萬(wàn)至500萬(wàn)塊圖形處理器（GPU），約等于
發(fā)表于 09-23 10:09
?460次閱讀
英偉達(dá)最新B30A芯片曝光：算力角逐中的新變數(shù)
目前允許在中國(guó)銷售的H20型號(hào)。這一消息瞬間點(diǎn)燃了行業(yè)內(nèi)外的關(guān)注熱情，為本就競(jìng)爭(zhēng)激烈的AI芯片領(lǐng)域增添了新的變數(shù)。 ? 架構(gòu)升級(jí)：站在巨人肩膀上的革新 B30A芯片將基于英偉達(dá)去年GTC大會(huì)上發(fā)布的新一代計(jì)算架構(gòu)——Blackw
傳英偉達(dá)自研HBM基礎(chǔ)裸片
"后的下一代AI GPU "Feynman"。 ? 有分析指出，英偉達(dá)此舉或是將部分GPU功能集成到基礎(chǔ)裸片中，旨在提高HBM和GPU的整體
aicube的n卡gpu索引該如何添加？
請(qǐng)問(wèn)有人知道aicube怎樣才能讀取n卡的gpu索引呢，我已經(jīng)安裝了cuda和cudnn，在全局的py里添加了torch，能夠調(diào)用gpu，當(dāng)還是只能看到默認(rèn)的gpu0，顯示不了gpu1
發(fā)表于 07-25 08:18
英偉達(dá)獲美批準(zhǔn)恢復(fù)H20在華銷售，同步推出全新兼容GPU
7月15日上午，央廣財(cái)經(jīng)記者從英偉達(dá)方面確認(rèn)，英偉達(dá)已經(jīng)獲得美國(guó)批準(zhǔn)，將恢復(fù) H20 在中國(guó)的銷售，并推
【「算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗(yàn)】+NVlink技術(shù)從應(yīng)用到原理
帶來(lái)了總雙向帶寬160GB/s的通訊速率，遠(yuǎn)高于當(dāng)時(shí)的PCIe接口（實(shí)際比現(xiàn)在的PCIe5.0也還要快）。首代的NVlink主要是增強(qiáng)了GPU到GP
發(fā)表于 06-18 19:31
英偉達(dá)擬再推中國(guó)特供GPU，今年6月量產(chǎn)！
電子發(fā)燒友網(wǎng)綜合報(bào)道 近年來(lái)，美國(guó)政府對(duì)華半導(dǎo)體出口管制政策不斷收緊，英偉達(dá)等半導(dǎo)體企業(yè)面臨嚴(yán)峻挑戰(zhàn)。為保持在中國(guó)市場(chǎng)的競(jìng)爭(zhēng)力，英偉達(dá)推出了
發(fā)表于 05-27 00:03
?4799次閱讀
GPU 維修干貨 | 英偉達(dá) GPU H100 常見故障有哪些？
上漲，英偉達(dá)H100GPU憑借其強(qiáng)大的算力，成為AI訓(xùn)練、高性能計(jì)算領(lǐng)域的核心硬件。然而，隨著使用場(chǎng)景的復(fù)雜化，H100服務(wù)器故障率也逐漸攀升，輕則影響業(yè)務(wù)進(jìn)度，重
立訊技術(shù)亮相英偉達(dá)GTC 2025大會(huì)
日前，英偉達(dá)年度技術(shù)盛會(huì)GTC 2025在美國(guó)加州圣何塞拉開帷幕。作為全球AI與計(jì)算領(lǐng)域的頂級(jí)峰會(huì)，GTC 2025匯聚了全球數(shù)千名開發(fā)者、企業(yè)領(lǐng)袖及學(xué)術(shù)專家，共同探討AI與加速計(jì)算的
英偉達(dá)GTC25亮點(diǎn)：NVIDIA Blackwell Ultra 開啟 AI 推理新時(shí)代
英偉達(dá)GTC25亮點(diǎn)：NVIDIA Blackwell Ultra 開啟 AI 推理新時(shí)代
英偉達(dá)GTC2025大會(huì)關(guān)鍵信息點(diǎn)總結(jié) Blackwell Ultra 量子計(jì)算與機(jī)器人
英偉達(dá) GTC 2025 大會(huì)關(guān)鍵信息點(diǎn)總結(jié)
新思科技攜手英偉達(dá)加速芯片設(shè)計(jì)，提升芯片電子設(shè)計(jì)自動(dòng)化效率
解決方案在英偉達(dá) GPU和英偉達(dá) CUDA-X庫(kù)上所實(shí)現(xiàn)的加速 基于英偉
發(fā)表于 03-19 17:59
?499次閱讀
新思科技亮相英偉達(dá)GTC 2025大會(huì)
為了實(shí)現(xiàn)這一速度提升，新思科技在GTC全球AI大會(huì)上宣布，正在使用英偉達(dá) CUDA-X庫(kù)優(yōu)化其下一代半導(dǎo)體開發(fā)解決方案。公司還在擴(kuò)大對(duì)英偉
工商網(wǎng)監(jiān)
評(píng)論