作為計(jì)算領(lǐng)域?qū)W術(shù)界、產(chǎn)業(yè)界、教育界的年度盛會，CNCC2021將匯聚國內(nèi)外頂級專業(yè)力量、專家資源，為逾萬名參會者呈上一場精彩宏大的專業(yè)盛宴。

今年NVIDIA專家團(tuán)隊(duì)受邀參會，將為大家?guī)韺?shí)用的技術(shù)論壇、開發(fā)者技術(shù)培訓(xùn)、編程體驗(yàn)。歡迎大家蒞臨CNCC大會現(xiàn)場 T10 展位以及線上分論壇了解我們帶來的精彩技術(shù)分享！

亮點(diǎn)活動(dòng)1：技術(shù)論壇

深度了解超大規(guī)模模型訓(xùn)練超算化

【超大規(guī)模模型訓(xùn)練超算化的趨勢及應(yīng)用 技術(shù)論壇】將于12月以在線論壇的形式召開。NVIDIA攜手百度、阿里云和京東的專家為您帶來超大規(guī)模分布式模型訓(xùn)練的實(shí)踐，以及深入分析GPT-3訓(xùn)練過程中的存儲、計(jì)算及通信開銷及相應(yīng)優(yōu)化策略等精彩演講。對GPU加速計(jì)算、超大規(guī)模語言模型訓(xùn)練、分布式訓(xùn)練框架和E級高性能AI計(jì)算集群的硬件架構(gòu)感興趣的小伙伴千萬不要錯(cuò)過。

超大規(guī)模模型訓(xùn)練超算化的趨勢及應(yīng)用 技術(shù)論壇

主題報(bào)告1：飛槳分布式框架：深度解析超大模型訓(xùn)練技術(shù)

主講嘉賓：

吳志華

百度深度學(xué)習(xí)技術(shù)平臺部主任研發(fā)架構(gòu)師，

飛槳分布式技術(shù)負(fù)責(zé)人

報(bào)告摘要：

飛槳是源于產(chǎn)業(yè)實(shí)踐的開源深度學(xué)習(xí)平臺。本專題主要介紹飛槳分布式訓(xùn)練框架及其在自然語言處理、視覺、推薦等領(lǐng)域的應(yīng)用。首先帶大家深入了解飛槳超大規(guī)模深度學(xué)習(xí)模型訓(xùn)練技術(shù)，含三代參數(shù)服務(wù)器架構(gòu)、多維混合并行訓(xùn)練技術(shù)等，來解決不同維度大模型的訓(xùn)練；其次通過經(jīng)典案例介紹大模型訓(xùn)練難點(diǎn)及在實(shí)際業(yè)務(wù)中的應(yīng)用。

主題報(bào)告2：阿里云在超大規(guī)模分布式模型訓(xùn)練的實(shí)踐

時(shí)間：1700主講嘉賓：董建波 阿里云資深技術(shù)專家報(bào)告摘要：AI算法模型的規(guī)模迅速增長，對算力的需求也急劇增加，分布式集群成為AI計(jì)算的必然選擇。而隨著集群規(guī)模的擴(kuò)展，系統(tǒng)的計(jì)算效率不斷下降。為了應(yīng)對這一挑戰(zhàn)，阿里巴巴設(shè)計(jì)了EFLOPS高性能AI計(jì)算集群，通過軟硬件的協(xié)同優(yōu)化，獲得極致的計(jì)算效率。本專題將介紹EFLOPS高性能AI計(jì)算集群的硬件架構(gòu)，軟硬件協(xié)同設(shè)計(jì)，以及在典型業(yè)務(wù)場景上的應(yīng)用。

主題報(bào)告3：大規(guī)模分布式深度學(xué)習(xí)：算法、理論及應(yīng)用

主講嘉賓：

沈力

京東科技、京東探索研究院算法科學(xué)家

報(bào)告摘要：

在分布式深度學(xué)習(xí)的場景下，參數(shù)服務(wù)器和節(jié)點(diǎn)之間需要頻繁的傳輸梯度和神經(jīng)網(wǎng)絡(luò)權(quán)重。當(dāng)前的超級深度學(xué)習(xí)模型如GPT-3的參數(shù)量已經(jīng)到千億規(guī)模，這給現(xiàn)有的分布式深度學(xué)習(xí)算法帶來了全新的挑戰(zhàn)。本次報(bào)告中，京東探索研究院立足于優(yōu)化算法理論，從四個(gè)層面來探索解決大規(guī)模分布式深度學(xué)習(xí)中模型參數(shù)維度過高和數(shù)據(jù)規(guī)模過大帶來的通信壓力和算力壓力的問題。

主題報(bào)告4：超大規(guī)模模型訓(xùn)練的趨勢及方案介紹

主講嘉賓：

楊廣樓

NVIDIA工程解決方案技術(shù)專家

報(bào)告摘要：

針對超大規(guī)模模型訓(xùn)練發(fā)展，介紹NVIDIA DGX SuperPOD如何設(shè)計(jì)計(jì)算、網(wǎng)絡(luò)和存儲等，提供給客戶最優(yōu)化、可擴(kuò)展和性能可保障的一站式分布式GPU集群解決方案。

主題報(bào)告5： 深入分析GPT-3模型訓(xùn)練的存儲、計(jì)算和網(wǎng)絡(luò)資源需求

主講嘉賓：

劉宏斌、劉冰

NVIDIA GPU技術(shù)專家

報(bào)告摘要：

超大規(guī)模語言模型已經(jīng)在各類NLP任務(wù)中取得了SOTA級別的訓(xùn)練結(jié)果，然而大規(guī)模語言模型帶來的存儲及計(jì)算開銷使其對軟件及硬件都提出了較高的要求。NVIDIA推出的Megatron-LM框架通過3D-Parallelism將模型合理地分配到相應(yīng)的計(jì)算資源，并且對通信及Kernel進(jìn)行了優(yōu)化以提升計(jì)算效率，在DGX-A100集群上整體GPU利用率可達(dá)50%以上，訓(xùn)練GPT-3只需34天（1024GPUs）。演講將以Megatron-LM為例，深入分析GPT-3訓(xùn)練過程中的存儲、計(jì)算及通信開銷及Megatron-LM的相應(yīng)優(yōu)化策略。

主題報(bào)告6： 超大模型部署實(shí)踐

主講嘉賓：

薛博陽

NVIDIA GPU技術(shù)專家

報(bào)告摘要：

最近幾年，NLP模型的參數(shù)量以每年10倍的成長速度不斷增加，并且至今為止還沒有減緩的跡象。為了能將這些上千億參數(shù)的模型部署上線，透過多GPU來載入模型并且提升速度是必要的。雖然目前許多的主流框架，如 TensorFlow、PyTorch，都有提供多GPU的訓(xùn)練庫。但在推理上，這些筐架無論是在顯存使用上還是速度上都明顯不足。而在推理方面，雖然也已經(jīng)有許多很好的工作，例如TensorRT、Light-seq，但他們都只能支持單GPU的推理。而FasterTransformer正是第一個(gè)針對多GPU場景進(jìn)行優(yōu)化的推理庫。

亮點(diǎn)活動(dòng)2：CUDA編程入門分享

【Arm / GPU 架構(gòu) CUDA 編程入門分享及線上編程體驗(yàn)技術(shù)分享】將于 2021年12月16日1700 在線上召開。NVIDIA專家將與您一起探討基于Arm的嵌入式平臺Jetson 開發(fā)環(huán)境、GPU異構(gòu)計(jì)算原理、CUDA編程模型等理論內(nèi)容。此外，還將提供云端環(huán)境以進(jìn)行線上開發(fā)實(shí)驗(yàn)，快帶上你的電腦參與我們的開發(fā)實(shí)驗(yàn)吧！

Arm / GPU 架構(gòu) CUDA 編程入門分享及線上編程體驗(yàn)

12月16日

時(shí)間主題主講嘉賓

1700CUDA開發(fā)原理介紹何琨NVIDIA企業(yè)開發(fā)者社區(qū)經(jīng)理

1850線上編程實(shí)驗(yàn)何琨NVIDIA企業(yè)開發(fā)者社區(qū)經(jīng)理

1800答疑何琨NVIDIA企業(yè)開發(fā)者社區(qū)經(jīng)理

亮點(diǎn)活動(dòng)3：展位現(xiàn)場開發(fā)者技術(shù)培訓(xùn)

【展位現(xiàn)場開發(fā)者技術(shù)培訓(xùn)】 將于12月16-17日在英偉達(dá)-麗臺 T10 號展位舉行舉行，12月16日14:00麗臺科技專家為您帶來全方位實(shí)用的技術(shù)培訓(xùn)。在12月17日上午的NVIDIA 初創(chuàng)加速加速日之中，我們邀請到眾多NVIDIA初創(chuàng)加速計(jì)劃成員的創(chuàng)始人和研發(fā)負(fù)責(zé)人為您介紹諸如基于NVIDIA GPU 的模塊化機(jī)器人平臺、TensorRT 推理加速應(yīng)用等各領(lǐng)域開發(fā)實(shí)戰(zhàn)培訓(xùn)內(nèi)容。

展位現(xiàn)場開發(fā)者技術(shù)培訓(xùn)

時(shí)間主題主講嘉賓

1430現(xiàn)代AI數(shù)據(jù)中心構(gòu)建解決方案蔡欣欣麗臺GPU產(chǎn)品經(jīng)理及售前顧問

1400AI及HPC產(chǎn)品解決方案蔡欣欣麗臺GPU產(chǎn)品經(jīng)理及售前顧問

1530麗臺EGX邊緣計(jì)算解決方案蔡欣欣麗臺GPU產(chǎn)品經(jīng)理及售前顧問

時(shí)間主題主講嘉賓

1015英偉達(dá)初創(chuàng)加速計(jì)劃介紹朱敏NVIDIA初創(chuàng)加速計(jì)劃經(jīng)理

1030AUTO CUBE ROBOT - 利用模塊化機(jī)器人平臺實(shí)現(xiàn)學(xué)生人工智能體系掌握張明YUHESEN研發(fā)負(fù)責(zé)人

1045TensorRT推理加速在實(shí)際場景中的應(yīng)用成望極視角科技研發(fā)SVP

1000新型存儲架構(gòu)YRCloudFile 在 AI 訓(xùn)練中的性能優(yōu)化與實(shí)踐王鵬飛

焱融科技CTO

1115GPU 并行計(jì)算- 利用 AI模型加速空間數(shù)據(jù)生產(chǎn) 梁健大地量子AI遙感算法工程師

1130ROS 編程基礎(chǔ)- 利用Jetson AGX XAVIER 實(shí)現(xiàn)移動(dòng)機(jī)器人自主充電 楊劉一喲羅機(jī)器人執(zhí)行董事&技術(shù)總監(jiān)經(jīng)理

原文標(biāo)題：CNCC2021 | NVIDIA專家?guī)碜顚?shí)用的干貨分享 武裝開發(fā)者的頭腦

文章出處：【微信公眾號：NVIDIA英偉達(dá)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。