91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

智能算力規(guī)模超通用算力,大模型對智能算力提出高要求

Carol Li ? 來源:電子發(fā)燒友網(wǎng) ? 作者:李彎彎 ? 2024-02-06 00:08 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報道(文/李彎彎)算力是設(shè)備通過處理數(shù)據(jù),實現(xiàn)特定結(jié)果輸出的計算能力,常用FLOPS作為計量單位。FLOPS是Floating-point Operations Per Second的縮寫,即每秒所能夠進行的浮點運算數(shù)目(每秒浮點運算量)。

算力可以分為通用算力、智能算力和超算算力。早前通用算力占整體算力的比重達到90%以上,近些年隨著人工智能技術(shù)的發(fā)展,智能算力規(guī)模迅速增長。從需求層面看,2022年,中國智能算力規(guī)模為268百億億次/秒(EFLOPS),已經(jīng)超過通用算力規(guī)模。

大模型對智能算力提出更高要求

通用算力、智能算力和超算算力三者的區(qū)別在于,通用算力,由基于CPU芯片的服務(wù)器提供算力,主要用于基礎(chǔ)通用計算。日常提到的云計算、邊緣計算等都屬于基礎(chǔ)算力,它為移動計算、物聯(lián)網(wǎng)等提供計算支持。

智能算力,由基于GPU、FPGAASICAI芯片的加速計算平臺提供的算力,主要用于人工智能的訓(xùn)練和推理計算,比如語音、圖像和視頻的處理。在技術(shù)架構(gòu)上,人工智能的核心計算能力由訓(xùn)練、推理等專用計算芯片提供,注重單精度、半精度等多樣化計算能力。

超算算力,由超級計算機等高性能計算集群提供算力,主要用于尖端科學(xué)領(lǐng)域的計算,比如行星模擬、藥物分子設(shè)計、基因分析等。在技術(shù)架構(gòu)上,超算的核心計算能力由高性能CPU或協(xié)處理器提供,注重雙精度通用計算能力,追求精確的數(shù)值計算。

2023年以來大模型迅猛發(fā)展,更是讓智算中心成為發(fā)展的重點。當(dāng)然,相比于之前,大模型對智算中心也提出更高要求。首先是隨著大模型規(guī)模的不斷擴大,對計算資源的需求不斷增加,智算中心需要提供更強大的計算能力來支持大模型的訓(xùn)練和推理任務(wù)。

其次是大模型需要大量的存儲空間來存儲參數(shù)、權(quán)重和中間結(jié)果,智算中心需要提供高效的存儲系統(tǒng)。第三是大模型的訓(xùn)練和推理過程中會產(chǎn)生大量的數(shù)據(jù),需要進行頻繁的數(shù)據(jù)傳輸和通信,智算中心需要具備高速的網(wǎng)絡(luò)連接和大規(guī)模的數(shù)據(jù)傳輸能力。

第四則是大模型的訓(xùn)練和推理過程需要大量的計算資源,導(dǎo)致能源消耗的增加,智算中心需要采取節(jié)能措施,如使用高效的硬件設(shè)備和優(yōu)化算法,以降低能源消耗。另外還有,大模型的訓(xùn)練和推理過程需要進行復(fù)雜的模型管理和調(diào)度,包括模型版本控制、并行訓(xùn)練和推理等,智算中心需要提供相應(yīng)的管理和調(diào)度工具來支持這些任務(wù)。

各地和企業(yè)建設(shè)智算中心支持大模型

對于各地方和企業(yè)來說,建設(shè)能夠支持大模型的智算中心已經(jīng)成為當(dāng)下的重點。近日,上海電信聯(lián)合徐匯區(qū)政府共同舉辦“算力惠模都 萬兆連速城”人工智能公共算力服務(wù)產(chǎn)品發(fā)布會,消息稱,2024年上半年,中國電信將在上海規(guī)劃建設(shè)到達15000卡,總算力超4500P。其中,單池新建國產(chǎn)算力達萬卡,是國內(nèi)首個超大規(guī)模國產(chǎn)算力液冷集群。

據(jù)介紹,該集群采用新一代國產(chǎn)AI算力,實現(xiàn)了全棧自主創(chuàng)新和技術(shù)突破,通過高速RDMA(遠(yuǎn)程直接數(shù)據(jù)存取)連接各物理機節(jié)點,提供低延時、高吞吐量、無損通信網(wǎng)絡(luò)和強大的并行計算能力,是目前規(guī)模最大的全國產(chǎn)液冷機房,多項技術(shù)指標(biāo)領(lǐng)跑全國。

該集群最高可支持萬億參數(shù)大模型,便于各科研院校、大模型訓(xùn)練公司等機構(gòu)和企業(yè)實現(xiàn)物理資源獨享,無虛擬化損耗,滿足AI計算、深度學(xué)習(xí)、圖形渲染等復(fù)雜訓(xùn)練任務(wù)對算力的要求。

早前廣州海珠區(qū)和中國電信廣州分公司也攜手揭牌了粵港澳大灣區(qū)首個服務(wù)大模型的智算中心。該智算中心搭載華為最新一代高端算力芯片昇騰910B,昇騰910B在大模型訓(xùn)練場景性能和A100持平,可提供全流程工具輔助大模型遷移。

中國電信廣州分公司云技術(shù)總監(jiān)時瑞表示,目前各種個性化推薦算法都需要調(diào)用智算,包括人臉識別、汽車自動駕駛等各種場景。他介紹,中心目前建成算力100P,計劃兩年內(nèi)擴展到300P。海珠區(qū)相關(guān)負(fù)責(zé)人表示,該智算中心定位服務(wù)大模型,主要服務(wù)于廣州市人工智能與數(shù)字經(jīng)濟試驗區(qū)至粵港澳大灣區(qū)大模型研發(fā)運用。

寫在最后

隨著人工智能技術(shù)發(fā)展,智能算力的規(guī)模已經(jīng)超過通用算力。近年來,大模型迅猛發(fā)展,使得智能算力市場需求會越來越大,同時大模型也給智能算力提出更高要求。為了抓住大模型發(fā)展帶來的產(chǎn)業(yè)機會,各地及企業(yè)都在積極建設(shè)智算中心來支持大模型訓(xùn)練部署。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 算力
    +關(guān)注

    關(guān)注

    2

    文章

    1528

    瀏覽量

    16740
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3648

    瀏覽量

    5179
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    時延小于1毫秒,工信部發(fā)布全光網(wǎng)絡(luò)重磅利好政策

    電子發(fā)燒友網(wǎng)報道(文/李彎彎)當(dāng)下,人工智能(AI)技術(shù)飛速發(fā)展,成為驅(qū)動數(shù)字經(jīng)濟發(fā)展的核心要素。AI應(yīng)用持續(xù)拓展,對底層網(wǎng)絡(luò)的傳輸
    的頭像 發(fā)表于 10-20 07:17 ?1.1w次閱讀
    時延小于1毫秒,工信部發(fā)布全光<b class='flag-5'>算</b><b class='flag-5'>力</b>網(wǎng)絡(luò)重磅利好政策

    蘇州市智能產(chǎn)業(yè)創(chuàng)新中心正式成立

    2月28日,蘇州市智能產(chǎn)業(yè)創(chuàng)新中心在中國移動云能力中心正式啟動,為蘇州智能高質(zhì)量發(fā)展按下
    的頭像 發(fā)表于 03-03 14:58 ?259次閱讀

    中科曙光scaleX萬卡集群重塑超大規(guī)模基礎(chǔ)設(shè)施

    在“人工智能+”行動深入推進的當(dāng)下,基礎(chǔ)設(shè)施已成為國家戰(zhàn)略競爭的核心,而超大規(guī)模集群的運維管控難題卻日益凸顯。中科曙光scaleX萬卡
    的頭像 發(fā)表于 01-30 15:43 ?712次閱讀

    將AI送上太空,是終極方案還是瘋狂幻想?評論區(qū)說出你的陣營!

    AI
    江蘇易安聯(lián)
    發(fā)布于 :2026年01月06日 09:43:34

    智能為何必須先進存

    作為東數(shù)西戰(zhàn)略的關(guān)鍵樞紐,中國移動呼和浩特數(shù)據(jù)中心不僅是中國移動“4+N+31+X”網(wǎng)絡(luò)中規(guī)模最大、技術(shù)最先進、保障最完備的中心節(jié)點,也是推動綠色低碳與
    的頭像 發(fā)表于 12-18 17:40 ?1077次閱讀

    湘軍,讓變成生產(chǎn)?

    腦極體
    發(fā)布于 :2025年11月25日 22:56:58

    不夠、交付太慢?捷智裸金屬租賃對標(biāo)物理機性能,讓你立馬用上高!

    2025年國產(chǎn)大模型升級帶動租賃需求爆發(fā),高性能服務(wù)器“一機難求”。中研普華預(yù)測,今年我國
    的頭像 發(fā)表于 09-12 20:06 ?1319次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b>不夠、交付太慢?捷智<b class='flag-5'>算</b>裸金屬租賃對標(biāo)物理機性能,讓你立馬用上高<b class='flag-5'>算</b><b class='flag-5'>力</b>!

    中國智能規(guī)模增長將40%

    表示預(yù)計在2025年,中國智能規(guī)模增長將超過40%。 據(jù)中國信息通信研究院副院長 魏亮表示:目前,中國
    的頭像 發(fā)表于 08-25 19:28 ?925次閱讀

    科技上線赤兔推理引擎服務(wù),創(chuàng)新解鎖FP8大模型

    模型輕量化部署方案。用戶通過遠(yuǎn)程平臺預(yù)置的模型鏡像與AI工具,僅需50%的GPU即可解
    的頭像 發(fā)表于 07-30 21:44 ?904次閱讀

    智能基建:RAKsmart如何賦能下一代AI開發(fā)工具

    當(dāng)今,AI模型的復(fù)雜化與規(guī)模化對提出了前所未有的要求。然而,傳統(tǒng)的
    的頭像 發(fā)表于 05-07 09:40 ?488次閱讀

    智能服務(wù)器應(yīng)用領(lǐng)域

    智能服務(wù)器應(yīng)用領(lǐng)域 一、?金融行業(yè)? 智能風(fēng)控與投顧?:通過集群支撐AI
    的頭像 發(fā)表于 04-21 09:09 ?1541次閱讀
    <b class='flag-5'>智能</b><b class='flag-5'>算</b><b class='flag-5'>力</b>服務(wù)器應(yīng)用領(lǐng)域

    芯片的生態(tài)突圍與革命

    據(jù)的爆發(fā)式增長,大芯片已成為科技競爭的核心領(lǐng)域之一。 ? 大芯片的核心應(yīng)用場景豐富多樣。在人工智能訓(xùn)練與推理方面,大
    的頭像 發(fā)表于 04-13 00:02 ?3241次閱讀

    智能最具潛力的行業(yè)領(lǐng)域

    智能最具潛力的行業(yè)領(lǐng)域 一、金融行業(yè) 智能風(fēng)控與精準(zhǔn)服務(wù)?:大型銀行通過集群(6.27萬
    的頭像 發(fā)表于 04-11 08:20 ?1383次閱讀
    <b class='flag-5'>智能</b><b class='flag-5'>算</b><b class='flag-5'>力</b>最具潛力的行業(yè)領(lǐng)域

    DeepSeek推動AI需求:800G光模塊的關(guān)鍵作用

    隨著人工智能技術(shù)的飛速發(fā)展,AI需求正以前所未有的速度增長。DeepSeek等大模型的訓(xùn)練與推理任務(wù)對
    發(fā)表于 03-25 12:00

    AI 報告來了!2025中國AI市場將達 259 億美元

    ,這份報告極具前瞻性與指導(dǎo)意義。報告顯示,在規(guī)模方面,中國智能增速遠(yuǎn)超預(yù)期,2024年中
    的頭像 發(fā)表于 03-07 13:27 ?2309次閱讀
    AI <b class='flag-5'>算</b><b class='flag-5'>力</b>報告來了!2025中國AI<b class='flag-5'>算</b><b class='flag-5'>力</b>市場將達 259 億美元