91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

GPT-4全面接入Office!人工智能迎來發(fā)展高潮,國內(nèi)算力芯片、接口IP、服務器的機會和挑戰(zhàn)!

Carol Li ? 來源:電子發(fā)燒友網(wǎng) ? 作者:李彎彎 ? 2023-03-18 01:04 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報道(文/李彎彎、吳子鵬)從OpenAI去年底推出ChatGPT以來,人工智能領(lǐng)域持續(xù)火熱。近日,高潮更是一波接著一波,首先是OpenAI繼ChatGPT之后又推出了更強大的大型多模態(tài)模型GPT-4,接著是國內(nèi)百度終于正式發(fā)布了其大型語言模型文心一言。昨日,微軟宣布將GPT-4全面接入所有辦公軟件,更是炸翻全場。

種種跡象表明,大模型的應用即將走進千家萬戶,人工智能產(chǎn)業(yè)發(fā)展迎來高潮。大家知道,無論是ChatGPT、文心一言,還是其他生成式AI模型的訓練和部署,對算力都有很高的要求。那么目前國內(nèi)在這方面具備怎樣的條件?大模型的發(fā)展將帶來怎樣的機會和挑戰(zhàn)?帶著這些問題,電子發(fā)燒友最近對多家大算力芯片、接口IP、服務器企業(yè)做了深度調(diào)研。

大算力芯片的機會和挑戰(zhàn)

目前,全球大模型的訓練基本都是采用英偉達GPU。OpenAI之前推出的ChatGPT,以及最近發(fā)布的GPT-4,都是在大量英偉達A100的基礎(chǔ)上訓練而成。據(jù)說微軟的Azure云服務為ChatGPT構(gòu)建了超過1萬枚英偉達A100GPU芯片的AI計算集群。

國內(nèi)大模型的訓練也基本倚賴英偉達的GPU,業(yè)內(nèi)人士認為,想要做好AI大模型,1萬枚英偉達A100芯片是門檻。然而國內(nèi)擁有1萬枚英偉達A100芯片的企業(yè)少之又少。從這個層面來看,國內(nèi)企業(yè)想要布局類似ChatGPT這樣大規(guī)模的模型短期來看還很難。

從長遠來看,未來大模型的研發(fā)和部署是必然趨勢,而每個大模型訓練和部署的背后,都有幾萬個GPU在支持??上攵磥黼S著這方面的研發(fā)和應用的普及,通用GPU市場需求將會迎來爆發(fā)式增長。這對GPU企業(yè)來說將會是巨大的機會。

登臨科技聯(lián)合創(chuàng)始人王平在接受電子發(fā)燒友采訪的時候表示:“以電力為例,可以很清楚的看到這個市場未來的變化。幾十年前,電力只是用在一些小用量的場景,隨著電力的供給越來越多,電器也越來越多的時候,最后電力就成了一個基本設(shè)施??梢哉f,算力也是朝著基礎(chǔ)設(shè)施的方向在發(fā)展。而現(xiàn)在通用GPU還遠沒有到爆炸式需求的階段。”

然而從目前的情況來看,國內(nèi)的GPU還難以在大模型的訓練中承擔起重要責任,不過可以看到有不少企業(yè)在該領(lǐng)域持續(xù)耕耘。對于國內(nèi)的GPU企業(yè)可以怎么做,才能在抓住ChatGPT帶來的這波機會,如何為國內(nèi)大模型的發(fā)展提供算力支持?

在接受電子發(fā)燒友采訪的時候,燧原科技創(chuàng)始人兼COO張亞林談到了幾點:首先,企業(yè)需要能夠提供更高性價比的算力,從ChatGPT訓練就能看到算力的成本有多高,從這個角度來看,并不是所有人都能玩得起這場游戲。

其次,大算力芯片企業(yè)需要能夠站到系統(tǒng)的角度思考問題,最終算力的呈現(xiàn)是一個集群系統(tǒng),這里面包含幾千張加速卡,幾千顆芯片,大量的互聯(lián)和存儲,很多服務器。整個系統(tǒng)的設(shè)計、調(diào)動能力、是否易用跟芯片的設(shè)計會不太一樣。這樣更能夠提供滿足用戶需求的產(chǎn)品。

在人工智能算力領(lǐng)域,燧原科技已經(jīng)有很深的積累。目前已經(jīng)迭代兩代訓練和推理產(chǎn)品,第三代在研發(fā)中。此外,燧原科技已經(jīng)在科研領(lǐng)域和智慧城市的應用中落地了訓練和推理的超千卡算力集群。張亞林表示,類似ChatGPT這樣的AIGC生成式模型,對于燧原科技而言是個機遇,公司可以把已經(jīng)積累的系統(tǒng)集群的經(jīng)驗推廣到更多的客戶賽道上,幫助客戶使能更多大模型的生成。

面對與國際巨頭的差距,天數(shù)智芯對電子發(fā)燒友表示,堅持通用GPU發(fā)展的路線,全面覆蓋訓練和推理兩條產(chǎn)品發(fā)展主線。結(jié)合行業(yè)解決方案為各行業(yè)、各產(chǎn)業(yè)發(fā)展提供完整成熟的軟硬件一體化方案。在未來的產(chǎn)品發(fā)展上,逐步縮小和國際先進產(chǎn)品的差距,為國內(nèi)人工智能發(fā)展提供強有力的支持。

天數(shù)智芯自2021年3月推出云端訓練通用GPU產(chǎn)品--天垓100,并于2022年12月推出云端推理通用GPU產(chǎn)品--智鎧100,截止目前,天數(shù)智芯訂單規(guī)模就已經(jīng)突破5億元。目前,基于天垓100訓練的模型種類超過了兩百種。天數(shù)智芯表示,公司在訓練芯片上堅持通用GPU架構(gòu)、主流生態(tài)兼容等發(fā)展路線,對于通用性、兼容性、安全性等方面都進行了支持,可以為ChatGPT的發(fā)展提供有效安全的算力底座。

對于以ChatGPT為代表的大模型訓練和部署,對通用GPU或者算力的高要求,登臨科技聯(lián)合創(chuàng)始人王平談到,從ChatGPT用戶數(shù)超1億,日訪問量幾千萬的數(shù)據(jù)來看,它的運營成本相當高,每天的電費達到幾十萬人民幣量級。他認為,這時候計算效率很重要,如果計算架構(gòu)相比于傳統(tǒng)的GPGPU更有優(yōu)勢的話,它在計算效率上也就會更有優(yōu)勢。

就比如登臨科技的一些計算密度更大的產(chǎn)品。登臨科技是一家專注于高性能通用計算平臺的芯片研發(fā)與技術(shù)創(chuàng)新的公司,登臨自主研發(fā)的GPU+架構(gòu)正式采用了軟件定義的片內(nèi)異構(gòu)體系,目前首款基于GPU+的系列產(chǎn)品—Goldwasser已在云至邊緣的各個應用場景實現(xiàn)規(guī)?;涞亍?jù)王平介紹,登臨科技希望通過異構(gòu),從由點及面在一些足夠大的市場領(lǐng)域,把產(chǎn)品做到比英偉達同系列產(chǎn)品更具性價比優(yōu)勢,甚至超過英偉達。

高速接口IP的機會和挑戰(zhàn)

就如上文所言,大模型的訓練需要大量的GPU,ChatGPT的訓練就使用了1萬張英偉達的高端GPU。然而從訓練的角度來看,計算性能再好的GPU芯片如A100如果無法集群在一起去訓練,那么訓練一個類ChatGPT的大模型可能需要上百年。因此,AI大模型的訓練對高速接口IP是一個巨大的挑戰(zhàn),也是一個巨大的機遇。

在以ChatGPT為代表的生成式AI大模型產(chǎn)業(yè)中,接口IP能夠發(fā)揮哪些作用呢?奎芯科技市場及戰(zhàn)略副總裁唐睿在接受電子發(fā)燒友網(wǎng)采訪時談到了幾點:

首先是芯片上的互聯(lián)接口,也就是Die to Die類型的互聯(lián)接口IP,包括UCIe等,用以擴充單芯片的計算能力;其次是Chip to Chip類型的互聯(lián)接口IP,包括SerDes/PCIe/CXL等,能夠加快芯片之間的互聯(lián)和數(shù)據(jù)交換,滿足更高帶寬的需求;此外還有內(nèi)存接口IP,包括SATA、DDR、HBM等,能夠用于打造更高性能的存儲產(chǎn)品,幫助類ChatGPT存儲和交換大規(guī)模的數(shù)據(jù);再上一層就是數(shù)據(jù)通訊接口的接口IP。因此,從訓練的角度來看,類ChatGPT應用的爆發(fā),能夠帶來非常大的接口IP需求。

奎芯科技成立于2021年,目前已經(jīng)推出的高速接口IP組合包括USB、PCIe、SATA、SerDes、MIPI、DDR、HDMI、DP、HBM等豐富的類型。唐睿指出,從技術(shù)上來看,國產(chǎn)接口IP廠商確實還處于追趕的位置,不過這種差距已經(jīng)越來越小。2023年,奎芯科技將會推出一系列性能達到國際領(lǐng)先水平的接口IP產(chǎn)品,包括HBM3以及其他領(lǐng)先的D2D類型的互聯(lián)接口IP。

當前,AI大模型訓練所用到的算力集群基本上都是基于英偉達通用算力芯片來打造,在這方面國產(chǎn)通用算力芯片還存在一定的性能差距。唐睿表示,國產(chǎn)高性能計算芯片還是有機會的,AI大模型并不是一個近期出現(xiàn)的新鮮事物,近些年國內(nèi)AI產(chǎn)業(yè)已經(jīng)在跟進這一趨勢,只是類ChatGPT類型應用背后的大模型參數(shù)規(guī)模更大。

針對這方面的需求,國內(nèi)芯片產(chǎn)業(yè)也早就啟動了這方面的布局,包括奎芯科技所在的接口IP賽道,都在向這個方向努力。不過,從IP研發(fā)到芯片設(shè)計,再到應用落地,這中間會有一個時間差。實際上,國外的公司也是在用之前的芯片通過互聯(lián)在做這方面的硬件支持。

服務器廠商的機會和挑戰(zhàn)

大模型的訓練和部署離不開服務器的支持。微軟Azure AI基礎(chǔ)設(shè)施總經(jīng)理尼迪·卡佩爾表示,他們構(gòu)建了一個系統(tǒng)架構(gòu),可以在非常大的范圍內(nèi)運行且十分可靠,這是ChatGPT成功的重要原因。云服務依賴于數(shù)千個不同的部件,包括服務器、管道、不同的金屬和礦物等。

近年來,在全球數(shù)字化、智能化的浪潮下,智能手機、自動駕駛、數(shù)據(jù)中心、圖像識別等應用推動AI服務器市場迅速成長。根據(jù)IDC數(shù)據(jù),2021年全球AI服務器市場規(guī)模已達到 145億美元,并預計2025年將超過260億美元。

近段時間ChatGPT概念的火熱,更是對算力基礎(chǔ)設(shè)施的需求起到了帶動作用。寧暢副總裁兼CTO趙雷此前在接受媒體采訪的時候表示,ChatGPT的訓練和部署,都需要大量智能計算數(shù)據(jù)存儲以及傳輸資源,計算機基礎(chǔ)設(shè)施、算力等上游技術(shù)將因此受益。

寧暢是一家集研發(fā)、生產(chǎn)、部署、運維一體的服務器廠商,及IT系統(tǒng)解決方案提供商。該公司很早就開始著重發(fā)力于人工智能服務器和液冷服務器。趙雷表示,公司目前在用的、在研的人工智能和液冷服務器,包括今年推出的浸沒液冷服務器,剛好跟上算力高速增長的市場需求。公司隨時準備著為客戶提供合適的高算力產(chǎn)品和解決方案。

在人工智能服務器方面,寧暢已經(jīng)推出多款產(chǎn)品,包括X620 G50、X660 G45、X640 G40、X620 G40。日前,百度正式發(fā)布大型語言模型文心一言,隨后寧暢聯(lián)合百度宣布寧暢AI服務器支持百度文心一言,寧暢憑借AI服務器產(chǎn)品及定制化服務,為百度文心一言提供算力保障。

目前國內(nèi)有不少優(yōu)秀的服務器廠商,除了上述提到的寧暢,還有浪潮信息、中科曙光等。不過整體來看,國內(nèi)在算力的提供商仍然存在瓶頸,比如總體算力不夠,算力分布不均。也就是說存在部分客戶算力過剩,部分客戶算力不足,或者A時間算力過剩,B時間算力不足的情況。短期來看,這個問題要靠云技術(shù)解決,長期來看是要提供過剩的算力。也就是說,需要云技術(shù)去平衡協(xié)調(diào)算力不均勻的問題,還需要提高算力、算力效率等。

另外還有算力成本的問題,雖然目前每單位算力單價已經(jīng)下降,但是過去幾年服務器的平均售價一直上漲。趙雷認為,可能算力類型單一,不太能夠有效地支撐高速增長的模式,可能要有各種各樣不同類型的算力。比如ChatGPT,是不是可以做針對GPT模型專門的ASIC。算力的應用類型越窄,它的效率就會越高,越通用效率就越低。

總結(jié)

顯然,隨著ChatGPT、GPT-4及文心一言等大型語言模型的發(fā)布,以及未來大模型在各個領(lǐng)域中實現(xiàn)部署應用,人們離期待已久的通用人工智能也就越來越近。而大模型的研發(fā)和應用部署,也將給算力芯片、接口IP、服務器等產(chǎn)業(yè)帶來前所未有的機會。同時國內(nèi)在這些領(lǐng)域具備自己的獨特優(yōu)勢,也面臨著諸多挑戰(zhàn)。這將會是一場持久戰(zhàn)。



聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1818

    文章

    50131

    瀏覽量

    265723
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    軟通動力重磅亮相第四屆北京人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展大會

    2月28日,第四屆北京人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展大會在國家會議中心二期盛大啟幕。軟通動力旗下國內(nèi)領(lǐng)先的全棧智產(chǎn)品及解決方案提供商——軟通華方攜多款AI
    的頭像 發(fā)表于 03-04 09:26 ?576次閱讀

    高達 1570 TOPS!支持多硬盤的高服務器 CSB2-N10

    口和1個千兆管理口,可擴展6個SATA3.0硬盤。配套智能管理系統(tǒng),標準的2U機架服務器機箱設(shè)計。高達1570TOPS服務器內(nèi)置10個分
    的頭像 發(fā)表于 01-06 16:33 ?527次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b>高達 1570 TOPS!支持多硬盤的高<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>服務器</b> CSB2-N10

    高達 1100 TOPS!內(nèi)置 Jetson AGX Orin 模組的高服務器

    萬兆網(wǎng)口,可擴展SATA3.0硬盤。配套智能管理系統(tǒng),標準的1U機架服務器機箱設(shè)計,廣泛適用于邊緣計算、大模型本地化、智慧城市、智慧醫(yī)療、智慧工業(yè)等產(chǎn)品和領(lǐng)域。提
    的頭像 發(fā)表于 12-17 16:31 ?605次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b>高達 1100 TOPS!內(nèi)置 Jetson AGX Orin 模組的高<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>服務器</b>

    錨定中央 “人工智能+” 部署!天數(shù)智以全棧產(chǎn)品,解鎖行業(yè)智能化新可能??

    緊扣政策導向,以“邊緣+存儲基座+場景機器人+家庭智能”四大產(chǎn)品矩陣,為“人工智能+”落地提供從“
    的頭像 發(fā)表于 12-11 17:54 ?1917次閱讀
    錨定中央 “<b class='flag-5'>人工智能</b>+” 部署!天數(shù)智<b class='flag-5'>算</b>以全棧產(chǎn)品<b class='flag-5'>力</b>,解鎖行業(yè)<b class='flag-5'>智能</b>化新可能??

    AI服務器電源測試解決方案:為巨擘注入穩(wěn)定之魂

    人工智能浪潮之巔,AI服務器電源作為驅(qū)動萬億參數(shù)模型奔騰不息的“心臟”,其性能至關(guān)重要。這顆心臟能否在極限負載下強勁搏動,在復雜工況中穩(wěn)定運行,直接決定了整個AI集群的可靠性與效
    的頭像 發(fā)表于 12-03 13:56 ?729次閱讀

    墨芯人工智能與陜西省國資中心達成戰(zhàn)略合作

    在新質(zhì)生產(chǎn)浪潮推動下,深耕稀疏計算的國內(nèi)AI芯片企業(yè)墨芯人工智能(以下簡稱“墨芯”)近日與陜西省國資
    的頭像 發(fā)表于 10-15 16:17 ?503次閱讀

    AI 服務器備用電源:高效、可靠與智能的未來保障

    電子發(fā)燒友網(wǎng)綜合報道 隨著人工智能技術(shù)的飛速發(fā)展,AI 服務器已成為數(shù)據(jù)中心的核心引擎。然而,需求的指數(shù)級增長也帶來了前所未有的電源
    的頭像 發(fā)表于 10-09 02:38 ?5238次閱讀

    天波科普:超過30T的邊緣計算服務器可以做什么?

    邊緣計算服務器憑借其強大的本地化處理能力,正在重塑人工智能與物聯(lián)網(wǎng)應用的邊界。這類設(shè)備不僅能解決云端計算延遲問題,還能在復雜環(huán)境中實現(xiàn)實時決策與深度分析。但AI邊緣計算盒子、邊緣計算服務器或邊緣計算
    的頭像 發(fā)表于 09-28 11:18 ?692次閱讀
    天波科普:<b class='flag-5'>算</b><b class='flag-5'>力</b>超過30T的邊緣計算<b class='flag-5'>服務器</b>可以做什么?

    IP廣域網(wǎng)助力互聯(lián)網(wǎng)建設(shè)進入快車道

    人工智能大模型等應用爆發(fā)式發(fā)展帶動了智能需求激增,全國各地紛紛建設(shè)大量智中心。在
    的頭像 發(fā)表于 09-25 10:40 ?761次閱讀

    能發(fā)布超節(jié)點服務器,128顆BM1690芯片組成

    電子發(fā)燒友網(wǎng)綜合報道 在2025世界人工智能大會上,能最新發(fā)布了一款超節(jié)點服務器,可提供多達8T顯存空間以及巨大的FP8,形成一臺強大
    的頭像 發(fā)表于 08-03 07:33 ?7831次閱讀
    <b class='flag-5'>算</b>能發(fā)布超節(jié)點<b class='flag-5'>服務器</b>,128顆BM1690<b class='flag-5'>芯片</b>組成

    人工智能技術(shù)的現(xiàn)狀與未來發(fā)展趨勢

    人工智能技術(shù)的現(xiàn)狀與未來發(fā)展趨勢 ? ? 近年來,人工智能(AI)技術(shù)迅猛發(fā)展,深刻影響著各行各業(yè)。從計算機視覺到自然語言處理,從自動駕駛到醫(yī)療診斷,AI的應用場景不斷擴展,推動社會向
    的頭像 發(fā)表于 07-16 15:01 ?1967次閱讀

    開售RK3576 高性能人工智能主板

    ,HDMI-4K 輸出,支 持千兆以太網(wǎng),WiFi,USB 擴展/重力感應/RS232/RS485/IO 擴展/I2C 擴展/MIPI 攝像頭/紅外遙控 等功能,豐富的接口,一個全新八核擁有超強性能的
    發(fā)表于 04-23 10:55

    智能服務器應用領(lǐng)域

    智能服務器應用領(lǐng)域 一、?金融行業(yè)? 智能風控與投顧?:通過
    的頭像 發(fā)表于 04-21 09:09 ?1631次閱讀
    <b class='flag-5'>智能</b><b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>服務器</b>應用領(lǐng)域

    芯片的生態(tài)突圍與革命

    據(jù)的爆發(fā)式增長,大芯片已成為科技競爭的核心領(lǐng)域之一。 ? 大芯片的核心應用場景豐富多樣。
    的頭像 發(fā)表于 04-13 00:02 ?3304次閱讀

    【「芯片通識課:一本書讀懂芯片技術(shù)」閱讀體驗】從deepseek看今天芯片發(fā)展

    近日有幸得到一本關(guān)于芯片制造的書籍,剛打開便被npu章節(jié)吸引,不禁感嘆芯片發(fā)展速度之快令人咂舌:如deepseek搬強大的人工智能,也能運行在嵌入式soc板卡了! 這里先看書里是怎么介
    發(fā)表于 04-02 17:25