91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

為AI計算釋放空間

安晟培半導體 ? 來源:未知 ? 2024-11-21 09:19 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

無論是移動應用程序或數(shù)字商務等可見應用程序,還是航空公司定價算法或每次刷卡時激活的欺詐檢測系統(tǒng)等幕后流程,AI 都已成為我們日常生活中不可或缺的一部分。尤其是生成式 AI,預計未來十年將以兩位數(shù)的速度持續(xù)增長,到 2032 年市場規(guī)??赡苓_到1 萬億美元以上。

AI 技術的發(fā)展推動了對更強大的處理器的需求,尤其是 GPU,是構建 AI 基礎設施的重要組成部分。NVIDIA 在行業(yè)和市場占據(jù)著主導地位,AMD 也越來越受歡迎,但企業(yè)必須面對GPU 持續(xù)增加的功耗,部分型號甚至已經(jīng)超過1kW,這一趨勢也導致全球數(shù)據(jù)中心功耗大幅增加。預計在 2022 年至 2026 年間還將翻一番,容量已然成為公共事業(yè)提供商和企業(yè)面臨的主要挑戰(zhàn)。

目前,大約80% 的數(shù)據(jù)中心運營商面臨功率限制,許多運營商對每機架功率限制在 10-20 kW的范圍內。雖然傳統(tǒng)方法證明,提高處理器性能和效率可以提高總功耗,但很多數(shù)據(jù)中心運營商已經(jīng)達到功率上限,這也對企業(yè)的持續(xù)創(chuàng)新和增長造成了阻礙。此外,擴展機架空間或適應特殊的冷卻方法通常成本高昂或受到空間和法規(guī)的限制;老化的服務器基礎設施(許多服務器使用時間超過 5 年)也不斷增加維護成本和安全風險。

對此,最實用的解決方案是升級現(xiàn)有的基礎設施。及時的服務器更新能夠大幅整合機架空間,從而降低運營成本,回收電力預算,并支持部署能夠處理 AI 工作負載的現(xiàn)代服務器。在評估服務器更新時,運營商需要用新的方式來思考,只要新一代處理器的每瓦性能(即效率)提高,處理器功耗的增加就可以被接受,這意味著新服務器比舊服務器 “里程更長”。盡管最大機架功率預算有限并開始接近極限,通過專注于每機架的性能,企業(yè)可以優(yōu)化現(xiàn)有的電力和空間,使他們能夠從數(shù)據(jù)中心的局限性轉為更加專注于業(yè)務的增長和創(chuàng)新。

Ampere 的云原生處理器旨在提供橫向擴展性能和領先的效率。AmpereOne 自研核是替代老舊服務器的最佳 CPU 選擇。在AmpereOne 效率白皮書中,詳細闡述了 AmpereOne 的效率優(yōu)勢,相較 AMD EPYC 9004 系列處理器,如何使云原生和 AI 工作負載的每機架性能提高 67%。

以下是 7 個開源工作負載,從 Web 服務器和負載均衡器到數(shù)據(jù)庫,再到緩存和內存中數(shù)據(jù)存儲。它們在許多現(xiàn)代 Web 服務中頗受歡迎,因為它們通過緩存處理 web 流量管理、數(shù)據(jù)存儲和性能優(yōu)化。

91c9f60c-a7a4-11ef-93f3-92fbcf53809c.png

在AI 計算時代,通過將 AI 推理工作負載添加到上述通用工作負載中,可以增強各個行業(yè)的產(chǎn)品和服務。下表展示了 AmpereOne 在機架級別的性能和效率,適用于推理工作負載,如推薦引擎(DLRM)、圖像處理(ResNet-50)以及以語言為中心的工作負載(Whisper和Llama3)。這些工作負載支持現(xiàn)代設施,例如聊天機器人、在電子商務網(wǎng)站上查看推薦的產(chǎn)品、在流媒體平臺上呈現(xiàn)“您可能喜歡的節(jié)目”,或者為直播電視流提供實時隱藏字幕。

91d59e44-a7a4-11ef-93f3-92fbcf53809c.png

對于前面提到的每機架可用功率有限的企業(yè)和服務提供商來說,實現(xiàn)每機架的最大性能尤為重要。即使是中等規(guī)模的企業(yè),由 AI 驅動的 web 服務也可以從 AmpereOne 中受益。與 AMD EPYC Genoa 8 個機架的輸出相比,AmpereOne 可以在不犧牲性能水平的情況下,將機架空間減少 38%,將功率預算降低 37%,并將購置成本降低 49%。以下代理 web 服務包括作為前端 Web 服務器的 NGINX、作為鍵值存儲的 Redis、作為內存數(shù)據(jù)庫的 Memcached、作為關系數(shù)據(jù)庫的 MySQL,以及分別作為推薦引擎和聊天機器人的 AI 組件 DLRM 和 Llama3。

91e45d12-a7a4-11ef-93f3-92fbcf53809c.png

AmpereOne 可以通過更新老化的服務器來重新利用預算、空間和功率。我們展示了如何節(jié)約資本支出,如何通過降低功耗和管理開銷而實現(xiàn)運營支出的節(jié)省,在三年內為企業(yè)節(jié)省大量 TCO。相較 AMD EPYC Bergamo,運營商可以節(jié)省 33% 的成本;與 AMD EPYC Genoa 相比,可節(jié)省高達 41% 的成本,這都歸功于AmpereOne。

91f8aeca-a7a4-11ef-93f3-92fbcf53809c.png

無論公司規(guī)模大小,“AI 海嘯” 將繼續(xù)降低企業(yè)大規(guī)模實施 AI 的準入門檻。即使沒有資源去雇傭專門的 AI 團隊,企業(yè)也可以通過服務提供商來開啟 AI 之旅,并迅速投入生產(chǎn)。因此,整合傳統(tǒng)基礎設施為 AI 擴展釋放空間尤其重要。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 處理器
    +關注

    關注

    68

    文章

    20300

    瀏覽量

    253717
  • AI
    AI
    +關注

    關注

    91

    文章

    40526

    瀏覽量

    302118
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    NVIDIA加速計算平臺助力從地球到太空的AI應用

    NVIDIA 今日宣布,其最新一代加速計算平臺正在開啟太空創(chuàng)新的新時代,將為軌道數(shù)據(jù)中心 (ODC)、地理空間信息收集以及自主太空運行提供 AI 算力。
    的頭像 發(fā)表于 03-18 14:44 ?376次閱讀

    Frore Systems 最新發(fā)布 LiquidJet? Nexus: 下一代 ?U AI 服務器(如 NVIDIA Kyber)定義 AI 熱管理技術棧

    計算系統(tǒng)產(chǎn)生的熱量有效導出并最終釋放到環(huán)境中,并正日益成為決定 AI 數(shù)據(jù)中心 算力密度、系統(tǒng)效率以及整體性能
    的頭像 發(fā)表于 03-16 10:36 ?337次閱讀
    Frore Systems 最新發(fā)布 LiquidJet? Nexus: <b class='flag-5'>為</b>下一代 ?U <b class='flag-5'>AI</b> 服務器(如 NVIDIA Kyber)定義 <b class='flag-5'>AI</b> 熱管理技術棧

    NVIDIA技術助力光輪智能加速物理AI落地

    機器人正加速走向真實世界。從實驗室到工業(yè)現(xiàn)場,從結構化環(huán)境到開放空間,物理 AI 對數(shù)據(jù)規(guī)模、物理準確性與訓練效率提出了前所未有的要求。
    的頭像 發(fā)表于 12-13 10:03 ?2277次閱讀

    疊層固態(tài)電容:小型化封裝,釋放PCB更多空間

    疊層固態(tài)電容通過小型化封裝設計,顯著釋放PCB空間,同時保持高性能與可靠性,成為高密度電子系統(tǒng)的理想選擇。
    的頭像 發(fā)表于 12-05 16:15 ?779次閱讀

    ALVA推出“ AI + 空間計算智能運維平臺

    市場規(guī)模正以指數(shù)級速度擴張,中國以 38% 的全球占比成為最大需求國。 9 月 18 日,以 2025 華為 HC 大會為契機,ALVA 與華為智算服務團隊進行了務實而高效的交流,深入探討在空間智能領域的合作。 ALVA?作為?AI +?
    的頭像 發(fā)表于 10-12 14:35 ?2007次閱讀

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI的科學應用

    AI被賦予了人的智能,科學家們希望在沒有人類的引導下,AI自主的提出科學假設,諾貝爾獎級別的假設哦。 AI驅動科學被認為是科學發(fā)現(xiàn)的第五個范式了,與實驗科學、理論科學、計算科學、數(shù)據(jù)驅
    發(fā)表于 09-17 11:45

    無人機飛控輕量化:合粵縮小體電容釋放空間,適配緊湊模組設計

    控系統(tǒng),通過創(chuàng)新性地縮小體電容釋放空間,成功實現(xiàn)了飛控模塊的緊湊化設計,無人機行業(yè)的輕量化發(fā)展提供了新的解決方案。 傳統(tǒng)飛控系統(tǒng)在設計時往往面臨一個矛盾:一方面需要足夠大的電容來保證系統(tǒng)穩(wěn)定運行,另一方面又
    的頭像 發(fā)表于 09-16 15:57 ?649次閱讀
    無人機飛控輕量化:合粵縮小體電容<b class='flag-5'>釋放空間</b>,適配緊湊模組設計

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI的未來:提升算力還是智力

    新信息的情況下持續(xù)學習和改進的AI計算方式。 終身短發(fā)怎么保持已有知識和技能的有效性呢 ①知識蒸餾:將已有知識從一個模型轉移到另一個模型 ②知識更新:根據(jù)新知識更新已有知識 ③知識重組:對已有知識進行重組
    發(fā)表于 09-14 14:04

    愛芯元智AI原生處理器釋放智能生產(chǎn)力

    近年來,人工智能產(chǎn)業(yè)持續(xù)高速發(fā)展,大模型技術不斷突破,各行各業(yè)帶來廣闊的應用想象空間。與此同時,AI算力部署正從云端加速向邊緣和終端延伸,邊緣AI憑借其低延遲、高隱私和性價比等優(yōu)勢,
    的頭像 發(fā)表于 09-10 11:42 ?964次閱讀
    愛芯元智<b class='flag-5'>AI</b>原生處理器<b class='flag-5'>釋放</b>智能生產(chǎn)力

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+可期之變:從AI硬件到AI濕件

    生物化學計算機,它通過離子、分子間的相互作用來進行復雜的并行計算。因而未來可期的前景是AI硬件將走向AI濕件。 根據(jù)研究,估算出大腦的功率是20W,在進行智力活動時,其功率會增大到25
    發(fā)表于 09-06 19:12

    NVIDIA通過全新 Omniverse庫、Cosmos物理AI模型及AI計算基礎設施,機器人領域開啟新篇章

    NVIDIA 通過全新 Omniverse 庫、Cosmos 物理 AI 模型及 AI 計算基礎設施,機器人領域開啟新篇章 ? ·?全新 NVIDIA Omniverse NuRec
    的頭像 發(fā)表于 08-12 11:29 ?1898次閱讀
    NVIDIA通過全新 Omniverse庫、Cosmos物理<b class='flag-5'>AI</b>模型及<b class='flag-5'>AI</b><b class='flag-5'>計算</b>基礎設施,<b class='flag-5'>為</b>機器人領域開啟新篇章

    AI 邊緣計算網(wǎng)關:開啟智能新時代的鑰匙?—龍興物聯(lián)

    ,這一過程常受網(wǎng)絡延遲和不穩(wěn)定的困擾。如今,借助 AI 邊緣計算網(wǎng)關,數(shù)據(jù)處理任務下沉至網(wǎng)絡邊緣,在本地即可快速完成。以智能安防監(jiān)控例,在大型商場中,眾多監(jiān)控攝像頭采集的視頻數(shù)據(jù),通過 AI
    發(fā)表于 08-09 16:40

    空間計算是如何運作的?它有哪些優(yōu)勢?

    空間計算將數(shù)字數(shù)據(jù)與物理世界實時融合,通過增強現(xiàn)實和虛擬現(xiàn)實頭顯或智能眼鏡等設備、增強混合現(xiàn)實交互。
    的頭像 發(fā)表于 07-02 09:14 ?1287次閱讀

    DDN攜手NVIDIA釋放非結構化數(shù)據(jù)的AI價值

    DDN 通過與 NVIDIA AI 數(shù)據(jù)平臺的合作,推出聯(lián)合解決方案,簡化了企業(yè)對非結構化數(shù)據(jù)的存儲、訪問和激活方式,助力客戶釋放生成式 AI 的巨大商業(yè)潛能。DDN 全球合作伙伴負責人
    的頭像 發(fā)表于 06-10 10:31 ?1024次閱讀

    Deepseek海思SD3403邊緣計算AI產(chǎn)品系統(tǒng)

    海思SD3403邊緣計算AI框架,提供了一套開放式AI訓練產(chǎn)品工具包,解決客戶低成本AI系統(tǒng),針對差異化AI 應用場景,自己采集樣本數(shù)據(jù),進
    發(fā)表于 04-28 11:05