“芯合”異構(gòu)混合并行訓(xùn)練系統(tǒng)1.0發(fā)布
近日，中國移動研究院副院長段曉東攜手天數(shù)智芯、壁仞科技、中興、海光、瀚博等一眾產(chǎn)業(yè)合作伙伴，共同推出了“芯合”異構(gòu)混合并行訓(xùn)練系統(tǒng)1.0版本。
該系統(tǒng)具備兩大核心能力，首先是基于非均勻計(jì)算任務(wù)切分ITD(Inhomogeneous Task Distribution)算法的3D并行策略。該策略利用通用混合訓(xùn)練框架，實(shí)現(xiàn)了異構(gòu)數(shù)據(jù)并行和異構(gòu)流水線并行，能夠靈活應(yīng)對各種復(fù)雜的計(jì)算任務(wù)。通過這一技術(shù)，系統(tǒng)能夠根據(jù)異構(gòu)算力的特點(diǎn)，自適應(yīng)地調(diào)整數(shù)據(jù)微批次大小、數(shù)量以及流水線并行度等參數(shù)，從而充分發(fā)揮不同計(jì)算單元的性能優(yōu)勢。
其次，“芯合”系統(tǒng)還采用了基于GDR(GPU Direct RDMA)的異構(gòu)芯片高速通信技術(shù)。這一技術(shù)為異構(gòu)芯片之間的數(shù)據(jù)傳輸提供了高速通道，極大地提升了數(shù)據(jù)傳輸效率，從而進(jìn)一步提升了系統(tǒng)的整體性能。
“芯合”異構(gòu)混合并行訓(xùn)練系統(tǒng)1.0的發(fā)布，標(biāo)志著中國移動及其合作伙伴在異構(gòu)計(jì)算領(lǐng)域取得了重要突破，為未來的高性能計(jì)算和人工智能應(yīng)用提供了更加高效和靈活的訓(xùn)練平臺。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報(bào)投訴
-
通信技術(shù)
+關(guān)注
關(guān)注
20文章
1174瀏覽量
94504 -
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
7341瀏覽量
94899 -
中國移動
+關(guān)注
關(guān)注
22文章
5722瀏覽量
78255 -
人工智能
+關(guān)注
關(guān)注
1819文章
50164瀏覽量
266022
發(fā)布評論請先 登錄
相關(guān)推薦
熱點(diǎn)推薦
摩爾線程發(fā)布SimuMax v1.1：從仿真工具升級為全棧工作流平臺，助力大模型訓(xùn)練提效
的仿真與調(diào)優(yōu)提供系統(tǒng)化支持。 ? 本次更新聚焦三大核心創(chuàng)新：用戶友好的可視化配置界面、智能并行策略搜索，以及融合計(jì)算與通信效率建模的System-Config生成流水線。新版本同時(shí)提升了對主流訓(xùn)練框架Megatron-LM的兼容
重磅更新 | 先楫半導(dǎo)體HPM_APPS v1.10.1發(fā)布
重磅更新 | 先楫半導(dǎo)體HPM_APPS v1.10.1發(fā)布
一文看懂AI大模型的并行訓(xùn)練方式（DP、PP、TP、EP）
大家都知道，AI計(jì)算（尤其是模型訓(xùn)練和推理），主要以并行計(jì)算為主。AI計(jì)算中涉及到的很多具體算法（例如矩陣相乘、卷積、循環(huán)層、梯度運(yùn)算等），都需要基于成千上萬的GPU，以并行任務(wù)的方式去完成。這樣
合粵固液混合電容助力新能源汽車轉(zhuǎn)向系統(tǒng)升級
合粵固液混合電容通過低ESR、高耐壓、寬溫域及抗振等特性，顯著提升新能源汽車轉(zhuǎn)向系統(tǒng)的穩(wěn)定性與可靠性，成為系統(tǒng)升級的關(guān)鍵元件。 以下從技術(shù)特性、應(yīng)用場景及實(shí)際案例三個(gè)維度展開分析： 一
全新升級 | 匠芯創(chuàng)AiUIBuilder V2.0.0發(fā)布
近日，匠芯創(chuàng)自主研發(fā)的GUI開發(fā)工具AiUIBuilderV2.0.0發(fā)布。作為一款基于LVGL的UI設(shè)計(jì)工具，AiUIBuilder致力于通過拖拽式操作，加速基于匠芯創(chuàng)嵌入式平臺的圖形應(yīng)用開發(fā)
G2發(fā)布最新報(bào)告，Splashtop 榮膺多區(qū)域領(lǐng)導(dǎo)者，IT 遠(yuǎn)程解決方案獲全球認(rèn)可
近日，全球權(quán)威軟件評測平臺G2發(fā)布了2025年秋季報(bào)告，Splashtop在端點(diǎn)管理、補(bǔ)丁管理、遠(yuǎn)程支持和遠(yuǎn)程桌面類別中表現(xiàn)亮眼，榮獲多項(xiàng)榮譽(yù)。憑借在歐洲、中東和非洲（EMEA）、歐洲、英國和加
詳解先進(jìn)封裝中的混合鍵合技術(shù)
在先進(jìn)封裝中， Hybrid bonding( 混合鍵合)不僅可以增加I/O密度，提高信號完整性，還可以實(shí)現(xiàn)低功耗、高帶寬的異構(gòu)集成。它是主要3D封裝平臺（如臺積電的SoIC、三星的X-Cube
摩爾線程發(fā)布大模型訓(xùn)練仿真工具SimuMax v1.0
近日，摩爾線程正式發(fā)布并開源大模型分布式訓(xùn)練仿真工具SimuMax 1.0版本。該版本在顯存和性能仿真精度上實(shí)現(xiàn)突破性提升，同時(shí)引入多項(xiàng)關(guān)鍵功能，進(jìn)一步增強(qiáng)了模型兼容性、靈活性與用戶體驗(yàn)。
商湯大裝置發(fā)布基于DeepLink的異構(gòu)混合調(diào)度方案
日前，在2025世界人工智能大會（WAIC）期間，商湯大裝置發(fā)布基于DeepLink的異構(gòu)混合調(diào)度方案，將DeepLink深度融入商湯大裝置核心能力體系。該方案針對當(dāng)前國產(chǎn)算力資源碎片化、異構(gòu)
炬芯科技助力榮耀手環(huán)10發(fā)布
近日，榮耀舉辦全場景新品發(fā)布會，正式推出新一代智能穿戴產(chǎn)品——榮耀手環(huán)10。該產(chǎn)品搭載炬芯科技ATS3085L雙模藍(lán)牙智能手表SoC芯片。炬芯ATS3085L是一款雙模藍(lán)牙智能手表SoC芯片，采用
混合鍵合工藝介紹
所謂混合鍵合（hybrid bonding），指的是將兩片以上不相同的Wafer或Die通過金屬互連的混合鍵合工藝，來實(shí)現(xiàn)三維集成，在Hybrid Bonding前，2D，2.5D及3
深控?cái)?shù)據(jù)平臺V1.0發(fā)布！以IoT之力重塑工廠“數(shù)據(jù)脈絡(luò)”
自主研發(fā)的“深控?cái)?shù)據(jù)平臺V1.0”（軟著登記號：XXXXXXXX），以IoT技術(shù)為核心，打造“全域感知-智能分析-精準(zhǔn)控制”的一體化平臺。
米爾瑞芯微多核異構(gòu)低功耗RK3506核心板重磅發(fā)布
近日，米爾電子發(fā)布MYC-YR3506核心板和開發(fā)板，基于國產(chǎn)新一代入門級工業(yè)處理器瑞芯微RK3506，這款芯片采用三核Cortex-A7+單核Cortex-M0多核異構(gòu)設(shè)計(jì)，不僅擁有豐富的工業(yè)接口
發(fā)表于 05-16 17:20
重磅更新 | 先楫半導(dǎo)體HPM_APPS v1.9.0發(fā)布
重磅更新 | 先楫半導(dǎo)體HPM_APPS v1.9.0發(fā)布
RAKsmart智能算力架構(gòu)：異構(gòu)計(jì)算+低時(shí)延網(wǎng)絡(luò)驅(qū)動企業(yè)AI訓(xùn)練范式升級
在AI大模型參數(shù)量突破萬億、多模態(tài)應(yīng)用爆發(fā)的今天，企業(yè)AI訓(xùn)練正面臨算力效率與成本的雙重挑戰(zhàn)。RAKsmart推出的智能算力架構(gòu)，以異構(gòu)計(jì)算資源池化與超低時(shí)延網(wǎng)絡(luò)為核心，重構(gòu)AI訓(xùn)練基礎(chǔ)設(shè)施，助力企業(yè)實(shí)現(xiàn)
工商網(wǎng)監(jiān)
評論