91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

緩解AI推理算力焦慮,高帶寬GDDR6成殺手锏?

Rambus 藍鉑世科技 ? 來源:芯東西 ? 2023-06-02 15:49 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

芯東西 5 月 22 日報道,生成式 AI 的日益火爆,正對數據中心內存性能提出更加苛刻的要求。無論是云端 AI 訓練還是向網絡邊緣轉移的 AI 推理,都需要高帶寬、低時延的內存。邁向高性能 GDDR6 內存接口已是大勢所趨。

近日,推出業(yè)界領先 24Gb/s GDDR6 PHY 的美國半導體 IP 和芯片供應商 Rambus,其兩位高管與芯東西等媒體進行線上交流,分享了 Rambus 在 GDDR6 領域的技術創(chuàng)新及行業(yè)發(fā)展趨勢。

"ChatGPT 等 AIGC 應用與我們公司的產品組合是非常契合的。"Rambus 大中華區(qū)總經理蘇雷說,Rambus China 立足于中國市場,愿意更多、更緊密地支持中國公司在 ChatGPT 產業(yè)的發(fā)展,為他們保駕護航,"Rambus 面對中國客戶的需求,有最好的技術、最快的響應和最好的技術支持來服務中國市場。"

據 Rambus IP 核產品營銷高級總監(jiān) Frank Ferro 分享,AI 推理應用對帶寬的需求通常在 200 到 500Gb/s 的范圍之間波動,每一個 GDDR6 設備的帶寬都可以達到 96Gb/s,因此通過將 4-5 個 GDDR6 設備組合在一起,就能輕松滿足 500Gb/s 及以下的帶寬需求。

他談道,如果用到一個 HBM3 設備,基本上會把這個帶寬需求的數字翻倍,能夠達到接近 800Gb/s 的帶寬,而這超過了 AI 推理本身所需要的 400 到 500Gb/s 帶寬,會使成本增加 3~4 倍。在這種條件下,HBM 并非一個經濟高效的選擇,GDDR6 則是一個更好的替代。

他建議按需選擇 HBM 或是 GDDR6 內存,對于對高帶寬和低延遲有很高要求的 AI 訓練場景,HBM 可能是更好的選擇;對于需要更大容量、更高帶寬的 AI 推理場景,GDDR6 會是更合適的選擇。

高性能內存和互連方案,支持下一代數據中心發(fā)展

Rambus 大中華區(qū)總經理蘇雷談道,Rambus 主要業(yè)務包含基礎專利授權、芯片 IP 授權和內存接口芯片。其中芯片 IP 又主要分為接口 IP 和安全 IP。其技術和產品面向數據密集型市場,包括數據中心、5G、物聯網 IoT、汽車等細分市場,后續(xù)還將推出 CXL 家族各產品組合芯片。

b3cf8354-fbd7-11ed-90ce-dac502259ad0.jpg

面向數據中心,Rambus 非常注重產品和方案的易用性,通過一站式的解決方案以及完善的服務機制,使產品方案變得更易在客戶端集成使用。Rambus 陸續(xù)推出了各內存子系統、接口子系統,提供業(yè)界領先、可靠的數據傳輸。其 GDDR6 接口子系統率先實現高達 24Gb/s 的內存接口數據速率,并能為每個 GDDR6 內存設備提供最高達到 96Gb/s 的帶寬。

Rambus 的內存接口芯片產品不斷提高數據中心內存模塊的速度和容量,同時它擁有非常豐富而全面的安全 IP 產品線,對用于靜態(tài)數據以及動態(tài)數據安全保護都有著專門安全的產品方案。

總體來說,Rambus 通過領先的高性能內存和互聯解決方案以及硬件級安全,支持下一代數據中心的發(fā)展。其產品應用領域聚焦于服務器主內存、人工智能和網絡加速器、智能網卡、網絡存儲、網絡交換機以及內存擴展和池化等。

b3f79e98-fbd7-11ed-90ce-dac502259ad0.jpg

內存是未來 AI 性能的關鍵

Rambus IP 核產品營銷高級總監(jiān) Frank Ferro 著重分享了迄今市場推動高性能需求的主要驅動力,以及未來如何更好滿足 AI 性能需求。

數據需求依舊呈現上漲趨勢。ChatGPT 等 AI 相關應用快速發(fā)展,對內存帶寬需求旺盛,因此市面上越來越多公司開始專注于開發(fā)自己個性化、定制化的處理器產品,以更好地滿足神經網絡以及專屬應用的需求。

Frank Ferro 強調說,盡管算力增長非常顯著,但帶寬的進步與之并不匹配,即現有高算力的基礎之上,很多的 GPU 資源其實并沒有得到充分的占用和利用,這造成了現在的困境。

AI 訓練環(huán)節(jié)需要錄入大量數據進行分析,需要消耗大量算力。AI 推理環(huán)節(jié)對算力的需求會大幅下降,但對成本和功耗更加敏感。Frank Ferro 談道,一個重要趨勢是 AI 推理越來越多地向邊緣設備上進行集成和轉移。在這個變化過程中,擁有更高帶寬、更低時延特性的 GDDR6 方案,能夠幫助邊緣端更好地處理數據。

對帶寬需求進一步的增加,驅動了像 Rambus 這樣的公司不斷地在去打造更加新一代的產品,不斷地提高內存帶寬以及接口帶寬的相關速度。

GDDR6 能夠提供 AI 推理所需的內存性能

Rambus 有著豐富的接口 IP 產品組合,同時也提供像 DDR、LPDDR 以及 HBM 等產品,并非常關注 SerDes 產品的開發(fā),主要聚焦于 PCIe 和 CXL 接口,會開發(fā)配套的 PHY 及控制器。Rambus 的 HBM 產品擁有領先的市占率,同時其 HBM3 產品已經能夠提供高達 8.4Gbps/s 的數據傳輸速率。

b43677c6-fbd7-11ed-90ce-dac502259ad0.jpg

其全新 GDDR6 PHY 及控制器的配套產品已達到業(yè)界領先的 24Gb/s 的數據傳輸速率,可為 AI 推理等應用場景帶來巨大性能優(yōu)勢和收益。此外,該產品在功耗管理方面優(yōu)勢明顯,并實現了 PHY 以及控制器的完整集成,即客戶收到產品后,可以直接對其子系統進行定制化應用。

b4563b92-fbd7-11ed-90ce-dac502259ad0.jpg

如圖是 GDDR6 內存接口系統,Rambus 提供的是中間標藍的兩個重要環(huán)節(jié),也就是完整的子系統。Rambus 會根據客戶具體應用場景和實際的訴求對子系統來進行優(yōu)化,并將其作為完整的子系統來交付給客戶。

clamshell 模式指每個信道可支持兩個 GDDR6 的設備。換句話說,在 clamshell 模式之下,整個容量是直接翻倍乘以 2 的。值得一提的是,GDDR6 現已支持先進的 FinFET 工藝節(jié)點環(huán)境。

此外,Rambus 也會針對 PCB 以及封裝提供相關的參考設計,同時內部有信號完整度和邊緣完整性方面的專家,來幫助客戶完成整個設計工作。

市面上很多 GPU 加速器都已經用到 GDDR6。由于在成本和性能之間達到不錯的平衡,GDDR6 成為在 AI 應用場景下比較合理的產品和選擇。而 Rambus 擁有領先的 SI/PI 專業(yè)知識,可以進行早期的協同設計和開發(fā),確保 GDDR6 產品的性能表現,也能更好地去縮短產品的上市時間。

結語:在帶寬、成本、方案復雜性之間實現平衡

隨著 AI 應用趨于盛行,蘇雷談道,下游廠商首先關注高帶寬,并開始關注方案的成本和復雜性,"GDDR 技術是在帶寬、成本和方案復雜性的各因素之間提供了一個非常完美的折中技術方案。" 他預計到 2025 年或 2026 年市場上會出現使用 GDDR6 IP 的芯片。

進入全新的 GDDR6 時代,相關產品已開始采用 16 位的雙讀寫通道。雙讀寫通道加起來是 32 位的數據寬度,而 GDDR6 內存有 8 個雙讀寫通道,總共可實現 256 位的數據傳輸寬度,所以能夠顯著提高數據傳輸的速度和效率,系統層效率和功耗管理也能得到進一步的優(yōu)化。

除了適用于 AI 推理場景外,Frank Ferro 說,GDDR6 也會在圖形領域和一些網絡應用場景中起到重要作用,能夠大幅降低網絡邊緣設備對 DDR 數量的需求。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯系本站處理。 舉報投訴
  • 芯片
    +關注

    關注

    463

    文章

    54004

    瀏覽量

    465803
  • 控制器
    +關注

    關注

    114

    文章

    17786

    瀏覽量

    193001
  • AI
    AI
    +關注

    關注

    91

    文章

    39707

    瀏覽量

    301305

原文標題:【媒體報道】緩解 AI 推理算力焦慮,高帶寬 GDDR6 成殺手锏?

文章出處:【微信號:Rambus 藍鉑世科技,微信公眾號:Rambus 藍鉑世科技】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    R480-X8面向下一代AI集群的高密度算模塊:技術架構與應用分析

    基于開放計算標準(OCP OAI/OAM)設計的高密度AI加速器組,通過模塊化集成,在單一節(jié)點內聚合高達1 PFLOPS(FP16)與2 POPS(INT8)的峰值算。其配備大容量GDDR6內存
    的頭像 發(fā)表于 12-14 13:15 ?1235次閱讀
    R480-X8面向下一代<b class='flag-5'>AI</b>集群的高密度算<b class='flag-5'>力</b>模塊:技術架構與應用分析

    昆侖芯R200 AI加速卡技術規(guī)格解析

    昆侖芯R200加速卡基于7nm XPU-R架構,在150W功耗下提供256 TOPS INT8算,側重高性能推理。配備最高32GB GDDR6內存(512GB/s帶寬)及108路視頻
    的頭像 發(fā)表于 12-14 13:12 ?1590次閱讀
    昆侖芯R200 <b class='flag-5'>AI</b>加速卡技術規(guī)格解析

    積木+3D堆疊!GPNPU架構創(chuàng)新,應對AI推理需求

    電子發(fā)燒友網報道(文/李彎彎)2025年,人工智能正式邁入應用推理時代。大模型從實驗室走向千行百業(yè),推理需求呈指數級爆發(fā)。然而,高昂的推理成本與有限的算供給之間的矛盾日益凸顯,成為制
    的頭像 發(fā)表于 12-11 08:57 ?7828次閱讀

    2025昇騰AI技術研討會·杭州站盛大開啟!小眼睛科技誠邀您共同見證AI+FPGA賦能昇騰新生態(tài)!

    ”合二為一,打造邊緣實時、低功耗、算法快速迭代場景下的“殺手锏”組合,推出“訓練在云端、推理在邊緣、算法可熱插拔”的端到端異構加速平臺。近期,由華為技術有限公司&華強半
    的頭像 發(fā)表于 12-11 08:03 ?673次閱讀
    2025昇騰<b class='flag-5'>AI</b>技術研討會·杭州站盛大開啟!小眼睛科技誠邀您共同見證<b class='flag-5'>AI</b>+FPGA賦能昇騰新生態(tài)!

    搶灘AI MCU增量市場,君正新品有何殺手锏破局關鍵

    為何AI MCU成為君正主要發(fā)的增量市場?在邊緣AI MCU賦能AI設備的需求當中,算和算法是當下芯片設計的兩大挑戰(zhàn),北京君正如何解決這
    的頭像 發(fā)表于 11-05 09:17 ?1.5w次閱讀
    搶灘<b class='flag-5'>AI</b> MCU增量市場,君正新品有何<b class='flag-5'>殺手锏</b><b class='flag-5'>成</b>破局關鍵

    AI推理需求爆發(fā)!通首秀重磅產品,國產GPU的自主牌怎么打?

    10月29日,在安博會的2025智能算應用及產業(yè)發(fā)展論壇上,超聚變數字技術有限公司深圳解決方案總監(jiān)丁元釗表示,原來我們預計2026年是AI推理爆發(fā)元年,2025年DeepSeek-R1,V3模型
    的頭像 發(fā)表于 10-30 00:46 ?1.4w次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>推理</b>需求爆發(fā)!<b class='flag-5'>高</b>通首秀重磅產品,國產GPU的自主牌怎么打?

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI芯片到AGI芯片

    建立的基礎: ①算支柱②數據支柱③計算支柱 1)算AI有關的因素: ①晶體管數量②晶體管速度③芯片架構④芯片面積⑤制造工藝⑥芯片內部擴展⑦內存
    發(fā)表于 09-18 15:31

    商湯大裝置躋身中國大模型推理算廠商第一梯隊

    近日,IDC發(fā)布首個《2025中國大模型推理算市場分析報告》。
    的頭像 發(fā)表于 08-14 09:29 ?4913次閱讀

    今日看點丨華為發(fā)布AI推理創(chuàng)新技術UCM;比亞迪汽車出口暴增130%

    緩存加速算法工具,分級管理推理過程中產生的KV Cache記憶數據,可擴大推理上下文窗口,實現吞吐、低時延的推理體驗,降低每Token推理
    發(fā)表于 08-13 09:45 ?5268次閱讀

    信而泰×DeepSeek:AI推理引擎驅動網絡智能診斷邁向 “自愈”時代

    、資源分配的最優(yōu)策略建議,減少資源浪費,提升整體網絡效率。 客戶實證:AI推理引擎的精準力量某大型政務云平臺遭遇核心業(yè)務運行緩慢問題,初步懷疑網絡帶寬不足。在利用信而泰xnSight網絡應用性能管理系統
    發(fā)表于 07-16 15:29

    瑞之辰傳感器:從“卡脖子”到“殺手锏”的技術突圍

    壓力傳感器的國產化替代,將這一“卡脖子”難題逐步轉變?yōu)樽陨淼募夹g“殺手锏”。破解“卡脖子”的技術密碼當動力電池安全監(jiān)測需要精度達1%FS的微型壓力傳感器時,當工業(yè)自動化
    的頭像 發(fā)表于 07-01 17:06 ?2057次閱讀
    瑞之辰傳感器:從“卡脖子”到“<b class='flag-5'>殺手锏</b>”的技術突圍

    革命:RoCE實測推理時延比InfiniBand低30%的底層邏輯

    AI 訓練與推理中的網絡效率瓶頸,助力數據中心在帶寬、低延遲、高可靠性的需求下實現算資源的最優(yōu)配置。
    的頭像 發(fā)表于 05-28 14:08 ?2095次閱讀
    算<b class='flag-5'>力</b>革命:RoCE實測<b class='flag-5'>推理</b>時延比InfiniBand低30%的底層邏輯

    RAKsmart服務器如何重塑AI并發(fā)算格局

    AI大模型參數量突破萬億級、實時推理需求激增的當下,傳統服務器架構的并發(fā)處理能力已逼近物理極限。RAKsmart通過“硬件重構+軟件定義”的雙引擎創(chuàng)新,推出新一代AI服務器解決方案。下面,A
    的頭像 發(fā)表于 04-03 10:37 ?905次閱讀

    DeepSeek推動AI需求:800G光模塊的關鍵作用

    類型和功耗選項,是數據中心向800G帶寬擴展的理想選擇。 市場前景廣闊: 隨著AI需求的不斷增長,尤其是在超大規(guī)模數據中心和AI集群的建設中,對
    發(fā)表于 03-25 12:00

    國產推理服務器如何選擇?深度解析選型指南與華頡科技實戰(zhàn)案例

    人工智能技術的爆發(fā)催生了對推理算的迫切需求,而進口服務器的成本與技術依賴性,推動了國產推理服務器的快速發(fā)展。據IDC預測,到2025年,中國AI
    的頭像 發(fā)表于 03-24 17:11 ?1226次閱讀
    國產<b class='flag-5'>推理</b>服務器如何選擇?深度解析選型指南與華頡科技實戰(zhàn)案例