在歐洲高性能計(jì)算領(lǐng)域頂級(jí)大會(huì)Teratec上，NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛發(fā)表演講，暢談他對(duì)產(chǎn)業(yè)及行業(yè)高性能計(jì)算的看法，以下為演講全文。

很高興今天能與大家一起討論高性能計(jì)算，我非常關(guān)注這個(gè)主題。

高性能計(jì)算是科學(xué)領(lǐng)域的必備工具，幫助科學(xué)家更好地了解我們的世界和宇宙。

盡管多個(gè)行業(yè)已經(jīng)從高性能計(jì)算中受益頗多，然而這還僅是特例，我們堅(jiān)信，得益于一系列進(jìn)步，我們正處于一個(gè)重要的轉(zhuǎn)折點(diǎn)和行業(yè)高性能計(jì)算革命的開端。

在我們聽到數(shù)字生物學(xué)革命，或未來工廠革命、數(shù)字孿生革命時(shí)，他們都有同樣的內(nèi)因在發(fā)揮作用。

我的演講將重點(diǎn)介紹推動(dòng)計(jì)算領(lǐng)域以超指數(shù)級(jí)、超摩爾定律速度進(jìn)步的動(dòng)力，這使高性能計(jì)算最終成為對(duì)各個(gè)行業(yè)都有用的工具。

隨后，我將介紹如何擴(kuò)展高性能計(jì)算系統(tǒng)，以服務(wù)各行各業(yè)的應(yīng)用。

先跟大家聊一下我們的行業(yè)，以及高性能計(jì)算是如何給這個(gè)行業(yè)帶來翻天覆地的變化。

NVIDIA 的成功一部分是源自我們構(gòu)建的內(nèi)容，但更多的是與構(gòu)建方式有關(guān)。

NVIDIA 很早就制定了完全在硅晶片中構(gòu)建我們芯片的理念，并且只將我們認(rèn)為完美的設(shè)計(jì)送到晶圓廠去生產(chǎn)。

NVIDIA 要模擬一切，并不惜一切代價(jià)實(shí)現(xiàn)這一目標(biāo)，為了模擬我們的芯片和系統(tǒng)，我們已經(jīng)在芯片設(shè)計(jì)基礎(chǔ)設(shè)施、硬件和軟件方面投資了數(shù)十億。

計(jì)算機(jī)模擬仿真的方法讓我們?cè)陧?xiàng)目成本最低的階段發(fā)現(xiàn)問題，最終將高質(zhì)量的產(chǎn)品更快地投放市場。

不僅如此，這樣做還有更深遠(yuǎn)的意義。

模擬文化會(huì)自然地促進(jìn)軟硬件協(xié)同設(shè)計(jì)，并使內(nèi)部團(tuán)隊(duì)自然地保持一致。

計(jì)算機(jī)模擬文化貫穿整個(gè)過程并有著深遠(yuǎn)的影響：產(chǎn)品開發(fā)的各個(gè)方面都整合在一起，故障和結(jié)果可重現(xiàn)，進(jìn)而獲得持續(xù)改進(jìn)，過去學(xué)到的所有知識(shí)都記錄在工具和流程中。

隨著時(shí)間的推移，使我們獲得了快速擴(kuò)展和前進(jìn)的整合優(yōu)勢(shì)。

1997 年，RIVA128 有 400 萬個(gè)晶體管，它由50 名工程師打造。23年后，A100 的規(guī)模擴(kuò)大了15000 倍，需要5000 名工程師參與。

如果沒有計(jì)算機(jī)模擬，電影行業(yè)不可能讓我們身臨其境非常非常遙遠(yuǎn)的星系。在電影《星球大戰(zhàn)9： 天行者崛起》中，ILM（工業(yè)光魔公司） 在數(shù)萬臺(tái)服務(wù)器上模擬出了數(shù)百萬加侖的水。

CGI （計(jì)算機(jī)成像技術(shù)）使得ILM 打造出令人難以置信的鏡頭–要召喚出他們模擬的壯觀海浪顯然是不可能的。

但是，CGI 開辟了更多新天地–能夠從任何角度進(jìn)行拍攝，反復(fù)拍攝直到獲得完美鏡頭，每當(dāng)鏡頭中有海洋時(shí)重用之前的算法–創(chuàng)作自由度令人震撼。

導(dǎo)演能想到的，CGI都能實(shí)現(xiàn)。

計(jì)算機(jī)模擬也改變了電子商務(wù)、媒體和互聯(lián)網(wǎng)領(lǐng)域。

互聯(lián)網(wǎng)上有數(shù)萬億物品，數(shù)十億人通過4 英寸的屏幕在這里“網(wǎng)上沖浪”。

預(yù)測用戶意圖和偏好，對(duì)于建立用戶和物品之間的聯(lián)系至關(guān)重要。

通過學(xué)習(xí)每款產(chǎn)品的幾十到幾百個(gè)屬性，以及每位用戶也有數(shù)十個(gè)到數(shù)百個(gè)屬性，互聯(lián)網(wǎng)服務(wù)提供商使用在超大規(guī)模數(shù)據(jù)中心運(yùn)行的推薦系統(tǒng)來預(yù)測你的隱性偏好。

推薦系統(tǒng)可以有效模擬你的偏好，并預(yù)測你喜歡購買、閱讀或觀看的內(nèi)容。

數(shù)據(jù)來自你與其服務(wù)進(jìn)行的每一次互動(dòng)。

推薦系統(tǒng)也是大規(guī)模的商用高性能計(jì)算系統(tǒng)之一，并且它們會(huì)不間斷運(yùn)行。

每年，超大規(guī)模數(shù)據(jù)中心和云數(shù)據(jù)中心部署的服務(wù)器數(shù)量能達(dá)到3000 萬臺(tái)，其中大量服務(wù)器用于學(xué)習(xí)預(yù)測特征和用戶偏好。

這些行業(yè)都因高性能計(jì)算而發(fā)生變革。

但是，基于物理和生物科學(xué)的產(chǎn)品制造業(yè)會(huì)遇到因問題過于龐大且復(fù)雜，以至于難以在模擬中正確求解。

為幫助打造實(shí)際產(chǎn)品–無論是破解和理解生物分子、研發(fā)新藥、尋找更可持續(xù)的食物和燃料來源，還是安全操作自主機(jī)器以制造并交付產(chǎn)品–只有在企業(yè)能夠通過模擬設(shè)計(jì)整個(gè)產(chǎn)品和完成相關(guān)壓力測試后，工業(yè)高性能計(jì)算才能被廣泛采用。

這需要達(dá)到一定的規(guī)模。

到目前為止，高性能計(jì)算能夠模擬的規(guī)模太小，以至于在工業(yè)領(lǐng)域無法發(fā)揮作用。

有句話說的好：“梯子再高也上不了月球?！?/p>

得需要火箭才行。

計(jì)算機(jī)科學(xué)領(lǐng)域的兩項(xiàng)突破大大提高了高性能計(jì)算的模擬規(guī)模。

第一個(gè)是 CUDA GPU 加速。

我們來看看科學(xué)家們使用NAMD 對(duì)模擬規(guī)模檢驗(yàn)的進(jìn)度。

NAMD 是一種分子動(dòng)力學(xué)求解器，用于模擬化學(xué)物質(zhì)與蛋白質(zhì)的相互作用來進(jìn)行虛擬藥物篩選，或模擬蛋白質(zhì)折疊以預(yù)測其3D 結(jié)構(gòu)。

2006 年，UIUC利用NVIDIA GPU 加速 NAMD，對(duì) 100 萬個(gè)原子 20納秒的活動(dòng)機(jī)制進(jìn)行了建模，達(dá)到2000 萬原子x納秒。

如今，通過GPU 加速，研究人員正在對(duì)10 億個(gè)原子 500納秒的活動(dòng)機(jī)制建模，達(dá)到5000 億原子x納秒。

原子模擬的性能在15 年內(nèi)提高了100 萬倍。

但按照摩爾定律，只會(huì)提高1000 倍。

事實(shí)上，最龐大的Top 500 超級(jí)計(jì)算機(jī)在這一時(shí)期僅增加了400 倍。

GPU 加速計(jì)算推動(dòng)著超指數(shù)級(jí)的增長。

實(shí)現(xiàn)這一目標(biāo)需要 CUDA GPU、多 GPU 系統(tǒng)、網(wǎng)絡(luò)性能提升和全棧優(yōu)化，這種完全集成的計(jì)算方法就是我們所說的 GPU 加速計(jì)算。

盡管如此，我們目前只接近了微秒級(jí)的時(shí)間尺度，我們需要進(jìn)行毫秒級(jí)的模擬來觀察重要的細(xì)胞過程，例如新冠肺炎刺突蛋白的作用機(jī)制。

以及在秒級(jí)的時(shí)間尺度上觀察蛋白質(zhì)折疊過程。

這又增大了 3 到6 個(gè)數(shù)量級(jí)，即使使用GPU 加速計(jì)算，也可能需要10 年才能實(shí)現(xiàn)。

此時(shí)，深度學(xué)習(xí)應(yīng)運(yùn)而生。

深度學(xué)習(xí)模型是通用函數(shù)學(xué)習(xí)工具。

其有效性以及 NVIDIA GPU 的通用性吸引了全球科學(xué)家加入深度學(xué)習(xí)研究，我們經(jīng)常從中看到重大突破。

AI 模型的規(guī)模在短短4 年內(nèi)增加了 4 個(gè)數(shù)量級(jí)，現(xiàn)已超過一萬億個(gè)參數(shù)！

我們預(yù)計(jì)幾年內(nèi)會(huì)有100 萬億以上參數(shù)的模型，因?yàn)閺囊?guī)模上來說，人腦大約有150 萬億個(gè)突觸。

美國能源部國家實(shí)驗(yàn)室的研究人員結(jié)合深度學(xué)習(xí)與NAMD 對(duì)新型冠狀病毒的3.05 億個(gè)原子模擬超過了1ms ，以觀察其刺突蛋白的作用機(jī)制。

在過去 15 年里，我們實(shí)現(xiàn)了從 2000 萬原子 x 納秒到 305 萬億原子 x 納秒的模擬，增長了 1000 萬倍。

GPU 和深度學(xué)習(xí)使高性能計(jì)算速度實(shí)現(xiàn)超指數(shù)級(jí)增長。

自從采用深度學(xué)習(xí)以來，行業(yè)高性能計(jì)算應(yīng)用明顯增加，尤其是在數(shù)字生物學(xué)、藥物研發(fā)、金融服務(wù)、制造和運(yùn)輸領(lǐng)域。

領(lǐng)軍者們看到了即將到來的轉(zhuǎn)折點(diǎn)，正躍躍欲試，期待著高性能計(jì)算超指數(shù)級(jí)的進(jìn)步。

索邦大學(xué)的研究人員與 GENCI、CRNS 和 NVIDIA 合作，用 GPU 加速一個(gè)大規(guī)模分子動(dòng)力學(xué)模擬軟件Tinker-HP。

他們模擬了新冠病毒刺突蛋白 38 微秒的活動(dòng)機(jī)制，研究員 Jean Philippe 表示說“以前需要幾年努力或者使用幾百萬個(gè) CPU 核心”才能實(shí)現(xiàn)這個(gè)結(jié)果。

六家領(lǐng)先的制藥公司開始使用 Tinker-HP 進(jìn)行藥物研發(fā)。

Transformer是一個(gè)可以學(xué)習(xí)序列模式的突破性 AI 模型，已經(jīng)取得了驚人的自然語言理解成果。

Google 的 BERT、OpenAI 的 GPT-3、NVIDIA 的 BioMegatron 就是典型的例子。

語言理解技術(shù)將實(shí)現(xiàn)計(jì)算的大眾化，讓所有人都能使用，可能會(huì)對(duì)社會(huì)產(chǎn)生深遠(yuǎn)影響。

GENCI 和 BigScience 的開放大型語言模型協(xié)作項(xiàng)目匯集了來自 45 個(gè)國家和地區(qū)的 500 名研究人員，共同為行業(yè)和科學(xué)界開發(fā)開源語言模型。

Transformer 不僅在語言理解方面具有革命性意義。

這些模型還可以學(xué)習(xí) SMILES 的語法規(guī)則，SMILES 是描述化學(xué)結(jié)構(gòu)的語言 – 化學(xué)語言。

NVIDIA 和阿斯利康合作開發(fā)了一種 AI 模型，可以預(yù)測藥物靶向反應(yīng)并生成新型分子藥物化合物。

該模型使用由十億種商用藥物分子組成的 ZINC 化學(xué)化合物數(shù)據(jù)庫進(jìn)行訓(xùn)練。

流體模擬被用于設(shè)計(jì)高效的渦輪機(jī)和風(fēng)機(jī)，甚至是現(xiàn)代數(shù)據(jù)中心。

幾何感知、多物理場 CFD 模擬可能需要數(shù)天才能完成，這限制了可探索的設(shè)計(jì)規(guī)模。

NVIDIA 研究人員開發(fā)了 SimNet，一種基于物理信息的神經(jīng)網(wǎng)絡(luò)。

SimNet 是一種基于深度學(xué)習(xí)的多物理場 CFD 模擬框架 – 一種遵守物理定律的 AI 模型。

GPU 加速計(jì)算與深度學(xué)習(xí)的融合正在推動(dòng)許多領(lǐng)域的超指數(shù)級(jí)增長。

超指數(shù)級(jí)規(guī)模將開啟高性能計(jì)算的行業(yè)應(yīng)用，同時(shí)行業(yè)高性能計(jì)算的各種用例又會(huì)推動(dòng)架構(gòu)的進(jìn)步，不僅僅是規(guī)模增長。

行業(yè)高性能計(jì)算不會(huì)處于超級(jí)計(jì)算中心的限制之中。行業(yè)高性能計(jì)算將是分布式的，跨越多個(gè)站點(diǎn)，延伸至邊緣，連接到遠(yuǎn)程傳感器，有時(shí)還會(huì)運(yùn)行批量模擬，以及越來越多的連續(xù)數(shù)字孿生模擬。行業(yè)高性能計(jì)算即是云原生和混合云計(jì)算。

中央超級(jí)計(jì)算機(jī)的性能將是難以置信的，它在第一性原理物理模擬方面表現(xiàn)卓著，大多數(shù)行業(yè)將使用數(shù)據(jù)分析、AI 模型訓(xùn)練和物理-AI 融合的模擬方法。

在交通運(yùn)輸行業(yè)，高性能計(jì)算將根據(jù)來自數(shù)百萬輛汽車的傳感器數(shù)據(jù)流構(gòu)建并不斷更新高清地圖。

針對(duì) AI 優(yōu)化的高性能計(jì)算將用于開發(fā)自動(dòng)駕駛 AI 模型，同時(shí)針對(duì)可視化優(yōu)化的高性能計(jì)算將模擬行駛在虛擬城市中的整個(gè)汽車堆棧。

在制造行業(yè)，針對(duì)可視化優(yōu)化的高性能計(jì)算將創(chuàng)建虛擬環(huán)境，讓機(jī)器人使用深度強(qiáng)化學(xué)習(xí)來學(xué)習(xí)技能。

高性能計(jì)算將實(shí)現(xiàn)在視覺和物理方面均非常準(zhǔn)確的數(shù)字孿生模擬。

一些超級(jí)計(jì)算機(jī)將完全專用于監(jiān)控和處理來自全球數(shù)十億個(gè)傳感器的連續(xù)遙測數(shù)據(jù)流；包括環(huán)境、氣象、大氣、海洋、衛(wèi)星成像以及人類和農(nóng)業(yè)污染。

歷史數(shù)據(jù)可通過多種模式進(jìn)行可視化，這些數(shù)據(jù)將推動(dòng) AI 模型預(yù)測未來幾個(gè)小時(shí)的天氣或未來數(shù)年的氣候變化。

DestinE 就是一臺(tái)這樣的計(jì)算機(jī)，它將成為地球的數(shù)字孿生體，加速計(jì)算和 AI 將貫穿其始終。

然而，應(yīng)用的多樣性和系統(tǒng)瓶頸將推動(dòng)系統(tǒng)架構(gòu)的多樣性。這就是 Arm 的魅力所在。

Arm 的魅力在于其開放的許可模式，允許任何人創(chuàng)建專用芯片和系統(tǒng)。

Amazon Graviton 非常適用于超大規(guī)模。

Ampere Computing 為超大規(guī)模、云和高并發(fā)用戶應(yīng)用打造了出色的 CPU。

印度的 C-DAC 和韓國的 ETRI 也在構(gòu)建超級(jí)計(jì)算 CPU。

富士通打造了一款具有強(qiáng)大向量處理能力和高內(nèi)存帶寬的超級(jí)計(jì)算 CPU。

Marvell 在存儲(chǔ)服務(wù)器和 5G 基站方面表現(xiàn)優(yōu)異。

在歐洲，SiPearl 正在為歐洲 E 級(jí) （每秒百億億次） 超級(jí)計(jì)算構(gòu)建 CPU。

NVIDIA 正在構(gòu)建針對(duì)諸如 AI 等大型數(shù)據(jù)問題的 GPU 加速計(jì)算而優(yōu)化的 CPU。

在為研究人員創(chuàng)建實(shí)用的計(jì)算平臺(tái)的漫長旅程中，構(gòu)建 CPU 是第一步。

構(gòu)建一個(gè)實(shí)用的計(jì)算平臺(tái)，支持不同科學(xué)領(lǐng)域和行業(yè)的各種應(yīng)用、系統(tǒng)配置和用例，需要付出巨大的努力。

除了極少數(shù)例外，計(jì)算機(jī)并非獨(dú)立或孤立的設(shè)備。

Arm 系統(tǒng)需要集成到當(dāng)今的基礎(chǔ)設(shè)施、軟件堆棧和工作流程中。

Arm 需要第三方配套芯片、各種系統(tǒng)、特定領(lǐng)域的求解器和應(yīng)用、中間件、存儲(chǔ)和文件系統(tǒng)、網(wǎng)絡(luò)、成熟的開發(fā)堆棧、支持熱門編程模型和語言的 SDK 以及數(shù)據(jù)中心管理軟件的支持。

Arm 目前僅占全球數(shù)據(jù)中心的 1%，因此激勵(lì)生態(tài)系統(tǒng)全面支持 Arm 將是一個(gè)漫長的過程。

我們相信，Arm 模式在高性能計(jì)算領(lǐng)域的時(shí)代已經(jīng)到來。

盡管長路漫漫，但 NVIDIA 非常熟悉這個(gè)過程。NVIDIA 可以快速啟動(dòng) Arm 高性能計(jì)算生態(tài)系統(tǒng)。

在過去 20 年里，我們?yōu)?NVIDIA 加速計(jì)算創(chuàng)建了強(qiáng)大的生態(tài)系統(tǒng)。

我們的平臺(tái)可加速所有關(guān)鍵高性能計(jì)算和 AI 生態(tài)系統(tǒng)。

我們?yōu)?250 萬開發(fā)者提供了 150 個(gè) SDK。

我們與世界各地的服務(wù)器制造商和云供應(yīng)商合作，提供我們的平臺(tái)給客戶。

高性能計(jì)算社區(qū)希望實(shí)現(xiàn)多元化，并渴望 NVIDIA 為 x86 和 Arm 提供加速計(jì)算和 AI 計(jì)算。

考慮到社區(qū)的關(guān)注點(diǎn)，我們將為從云到超級(jí)計(jì)算中心到邊緣的指令集架構(gòu)提供支持。

還有一件事值得一提。

量子計(jì)算雖然仍處于早期研究階段，但我們有望模擬這種類別的、隨規(guī)模呈指數(shù)級(jí)增長的復(fù)雜問題，例如量子化學(xué)和密碼學(xué)。

盡管距離廣泛商用還有幾十年的時(shí)間，但目前仍有重要的研究要做，NVIDIA 可以通過多種方式做出貢獻(xiàn)：

模擬量子電路以驗(yàn)證研究量子計(jì)算機(jī)的結(jié)果，為優(yōu)化量子算法的研究人員提供平臺(tái)，構(gòu)建混合量子-經(jīng)典系統(tǒng)，以及加速已用于藥物研發(fā)或材料科學(xué)的許多量子求解器。

NVIDIA cuQuantum 是一種張量處理 SDK，可極大加速量子電路模擬。

在法國和世界各地都有一個(gè)充滿活力的大型社區(qū)。

我們的計(jì)算機(jī)科學(xué)家隨時(shí)準(zhǔn)備幫助你加速量子研究。

行業(yè)高性能計(jì)算的時(shí)代已經(jīng)到來。

科學(xué)界利用高性能計(jì)算來測試新理論的極限。

各個(gè)行業(yè)需要高性能計(jì)算來測試新產(chǎn)品的極限。

到目前為止，基于物理和生物科學(xué)的產(chǎn)品會(huì)存在因問題過于龐大且復(fù)雜，以至于難以在模擬中正確求解。

GPU 加速和 AI 改變了這一點(diǎn)。

GPU 加速和 AI 在 15 年內(nèi)將計(jì)算機(jī)模擬的規(guī)模提升了 1000 萬倍，這是一種超指數(shù)級(jí)增長。

在行業(yè)領(lǐng)域，高性能計(jì)算不再是試圖登月的長梯，它現(xiàn)在是一艘火箭。

對(duì)于行業(yè)來說，問題已經(jīng)不再是計(jì)算機(jī)能做些什么。而是誰將率先使用計(jì)算機(jī)來為行業(yè)掀起革命性變革。

行業(yè)高性能計(jì)算的時(shí)代已經(jīng)到來。

編輯：jq