人工智能正變得無(wú)處不在，全球最快的計(jì)算機(jī)上也在運(yùn)行人工智能負(fù)載，這也在改變HPC（高性能計(jì)算，High Performance Computing）。不過(guò)，人工智能將如何影響編程，軟硬件以及和訓(xùn)練需求？

AI可能是HPC歷史上最大的變革推動(dòng)者，AI在2019年對(duì)HPC產(chǎn)生最大影響的十大原因。

10、 Tensors（張量）：人工智能計(jì)算的通用語(yǔ)

向量代數(shù)的使用催生了為矢量計(jì)算設(shè)計(jì)的計(jì)算機(jī)。來(lái)自Cray的早期超級(jí)計(jì)算機(jī)是矢量超級(jí)計(jì)算機(jī)，它帶動(dòng)了應(yīng)用程序以矢量和矩陣代數(shù)問(wèn)題的方式表示，這反過(guò)來(lái)又推動(dòng)了計(jì)算機(jī)的設(shè)計(jì)，確保矢量計(jì)算能更快運(yùn)行。多年來(lái)，這種循環(huán)定義了HPC。

張量代數(shù)可以視為廣義矩陣代數(shù)，因此它是超級(jí)計(jì)算機(jī)能力的自然演化，而不是一場(chǎng)革命。任何支持矩陣運(yùn)算的機(jī)器都可以進(jìn)行張量運(yùn)算。今天，CPU通過(guò)通用編譯器，加速Pythons，增強(qiáng)庫(kù)和優(yōu)化框架的支持就可以支持矢量和張量的高性能計(jì)算。

正如向量之前對(duì)HPC的硬件、軟件以及想法的影響，張量也正在深刻的改變著我們。

9、語(yǔ)言：高級(jí)編程語(yǔ)言

Fortran編程語(yǔ)言在HPC領(lǐng)域占據(jù)主導(dǎo)地位，再加上C和C ++語(yǔ)言幾乎統(tǒng)治了HPC市場(chǎng)。通常通過(guò)C語(yǔ)言接口來(lái)擴(kuò)展來(lái)支持加速器。嘗試使用新語(yǔ)言來(lái)打破現(xiàn)有的格局已經(jīng)失敗，因?yàn)楝F(xiàn)有語(yǔ)言已經(jīng)形成了一個(gè)生態(tài)，包括HPC的應(yīng)用程序、用戶、代碼等。

AI帶來(lái)了新的需求，這將擴(kuò)展與HPC相關(guān)的語(yǔ)言。他們不會(huì)改變使用Fortran的大多數(shù)物理學(xué)家的活動(dòng)，但使用MATLAB和Python的數(shù)據(jù)科學(xué)家需要根據(jù)他們的需求量身定制解決方案。

Python以及其它框架和編程語(yǔ)言，似乎正成為HPC越來(lái)越重要的部分。不過(guò)他們實(shí)際運(yùn)行的程序仍將用C/C++/Fortran編寫(xiě)，但AI程序員既不會(huì)知道，也不關(guān)心它。

8、以不同方式思考：通過(guò)重新思考的方法來(lái)替換遺留代碼

HPC非常傳統(tǒng)，相對(duì)而言人工智能是新的。就目前而言，當(dāng)兩者相互作用時(shí)，它將重提有關(guān)實(shí)現(xiàn)遺留代碼的問(wèn)題，在某些情況下這些代碼可能早就該實(shí)現(xiàn)了。說(shuō)法可能是“讓我們?yōu)檫@段代碼添加一些人工智能功能”，但現(xiàn)實(shí)將是努力可能成為浪費(fèi)時(shí)間。還記得Java熱潮的早期許多“轉(zhuǎn)換為Java”的努力嗎？

就像那些早期瘋狂的Java時(shí)代一樣，急于將代碼重寫(xiě)為新形式的人既有成功的也有失敗的。投資回報(bào)率（ROI）將是關(guān)鍵，但預(yù)測(cè)創(chuàng)新的結(jié)果往往是錯(cuò)誤的。

7、可移植性和安全性：虛擬化和容器

安全性和可移植性的具體問(wèn)題是，“我可以在我的機(jī)器上安全地運(yùn)行嗎？”和“它能在我的機(jī)器上運(yùn)行嗎？”，這是虛擬化和容器試圖解決的問(wèn)題。當(dāng)然，安全性來(lái)自于良好的硬件和軟件特性。對(duì)于許多人來(lái)說(shuō)，虛擬化和容器似乎能確立這種組合。

容器已引起許多開(kāi)發(fā)人員的關(guān)注，因?yàn)樗鼈儽忍摂M機(jī)更靈活、可部署、可升級(jí)、具備云多功能性，并且可以節(jié)省虛擬機(jī)授權(quán)許可成本。

在任何HPC或AI的會(huì)議上談?wù)撊萜魉坪踔荒苷局f(shuō)說(shuō)。但這正在改變，例如Python和Julia在配置時(shí)可以更好地?cái)U(kuò)展，容器可以幫助部署。

容器為用戶提供了良好的環(huán)境，2019年將看到HPC領(lǐng)域越來(lái)越多的容器使用，部分原因是AI用戶的對(duì)此表現(xiàn)出的興趣。毫無(wú)疑問(wèn)，這會(huì)對(duì)HPC帶來(lái)挑戰(zhàn)，因?yàn)檫@需要優(yōu)化的生態(tài)系統(tǒng)。如今，這個(gè)領(lǐng)域正在進(jìn)行這方面大量的精細(xì)工作，HPC社區(qū)將幫助實(shí)現(xiàn)這一目標(biāo)，滿足大家對(duì)容器的渴望。

6、規(guī)模問(wèn)題：大數(shù)據(jù)

只要有人工智能，就有大數(shù)據(jù)。人工智能的重點(diǎn)是利用數(shù)據(jù)模型從大量的數(shù)據(jù)集中找到價(jià)值。許多HPC中心已經(jīng)有很多基礎(chǔ)設(shè)施可以很好地處理大數(shù)據(jù)問(wèn)題。

所有HPC中心都將大數(shù)據(jù)作為新系統(tǒng)的主要需求，AI工作負(fù)載是大數(shù)據(jù)需求的主要?jiǎng)恿Α?/p>

由于存儲(chǔ)器的高成本，我們看到存儲(chǔ)器大小與FLOP/s的比率多年來(lái)一直在下降。這對(duì)大數(shù)據(jù)發(fā)展不利。與持久內(nèi)存相關(guān)的新功能帶來(lái)了一些希望，并支持大型機(jī)器（包括HPC）中的大數(shù)據(jù)模型。這些新的內(nèi)存技術(shù)提供了主內(nèi)存和本地存儲(chǔ)（SSD）的擴(kuò)展。

我今天寫(xiě)的是人工智能如何影響HPC，但我還得指出HPC對(duì)可視化的熱愛(ài)將對(duì)AI產(chǎn)生的影響。將數(shù)據(jù)放在最接近處理器的位置是最適合進(jìn)行實(shí)際數(shù)據(jù)可視化的處理器，是HPC影響AI / ML的最重要的方法之一。當(dāng)然，使用和理解大數(shù)據(jù)以及可視化數(shù)據(jù)和分析是相互交織的。

5、大量計(jì)算：云計(jì)算

人工智能開(kāi)發(fā)人員可能已經(jīng)比HPC開(kāi)發(fā)人員更多地接受了云計(jì)算。雖然HPC“在云中”已經(jīng)出現(xiàn)，但AI應(yīng)用的高性能計(jì)算需求將加速“云中的HPC”。

4、硬件：交互式能力，為庫(kù)和框架提供性能

人工智能的計(jì)算量并不大。這意味著少數(shù)庫(kù)接口和框架主宰著“AI加速器”作為其賣(mài)點(diǎn)。

交互能力是一個(gè)長(zhǎng)期存在的要求，它一直被HPC系統(tǒng)“擱置”，現(xiàn)在被AI程序員將其放置在“前端和中心”。這種變化對(duì)“HPC”的改變速度還有待觀察，但2019年該領(lǐng)域的創(chuàng)新即使分散且有些隱秘也會(huì)引人注目。交互性也可稱為“個(gè)性化”。

HPC更多的硬件多樣性、交互性支持以及為性能優(yōu)化的附加庫(kù)/框架抽象，以支持AI工作負(fù)載。HPC社區(qū)對(duì)性能的關(guān)注將有助于說(shuō)明基礎(chǔ)設(shè)施的更多融合將有利于數(shù)據(jù)中心部署。沒(méi)有人愿意放棄性能，只要他們不必這樣做，HPC社區(qū)的專業(yè)知識(shí)將有助于商業(yè)化AI / ML的性能，從而帶動(dòng)社區(qū)之間更多的硬件技術(shù)融合。

3、人員融合：用戶多樣性和對(duì)HPC興趣的增加

AI將吸引許多具有不同背景的新人才。AI將以前所未有的規(guī)模為HPC帶來(lái)民主化。過(guò)去幾年，“HPC民主化”用于描述HPC（以前只有大型組織的人才可以使用）如何被小的工程師團(tuán)體和科學(xué)家群體使用。數(shù)學(xué)和物理問(wèn)題可能推動(dòng)了早期的超級(jí)計(jì)算發(fā)展，但最近更多的用戶發(fā)現(xiàn)HPC性能在醫(yī)學(xué)、天氣預(yù)報(bào)和風(fēng)險(xiǎn)管理等領(lǐng)域不可或缺。

AI帶來(lái)了比HPC更廣泛的用戶群，為HPC的民主化帶來(lái)了全新的應(yīng)用。將AI增加到發(fā)展HPC的列表中，我們繼續(xù)為追求世界上最高性能的計(jì)算添加更多理由， HPC專家和AI專家正在結(jié)合，以產(chǎn)生我們都能感受到的興奮。

2、新投資：推理

機(jī)器學(xué)習(xí)通常可以被認(rèn)為是由“訓(xùn)練”的學(xué)習(xí)階段和 “推理”的“做”階段組成?？雌饋?lái)我們需要更多的循環(huán)進(jìn)行推理而不是更多循環(huán)進(jìn)行訓(xùn)練，特別是當(dāng)我們看到機(jī)器學(xué)習(xí)無(wú)處不在地嵌入到身邊的解決方案中時(shí)。市場(chǎng)分析師估計(jì)，推理硬件市場(chǎng)是訓(xùn)練硬件規(guī)模的5-10倍。

有了這么大的市場(chǎng)機(jī)會(huì)，毫不奇怪，所有人都希望進(jìn)入市場(chǎng)更大的推理市場(chǎng)。推理已在FPGA，GPU，DSP和眾多定制ASIC處理器上運(yùn)行。功耗，延遲和總體成本都是賣(mài)點(diǎn)。高性能、低延遲、易于重新編程的FPGA似乎是補(bǔ)充當(dāng)前CPU主導(dǎo)的推理市場(chǎng)的合理選擇，時(shí)間會(huì)證明。

跟著市場(chǎng)的選擇，您將看到推理工作負(fù)載將對(duì)包括HPC在內(nèi)的所有計(jì)算產(chǎn)生重大影響。

1、應(yīng)用程序的融合：不是在“重新思考”之后進(jìn)行替換 ，“融合”兩全其美，擴(kuò)展工作負(fù)載多樣性并看到不同工作負(fù)載的融合

那些有遠(yuǎn)見(jiàn)的人已經(jīng)證明，HPC和AI結(jié)合時(shí)有很多機(jī)會(huì)。鼓舞人心的研究范圍從擁有一個(gè)中立的網(wǎng)絡(luò)學(xué)習(xí)到“ 像蒙特卡羅模擬一樣 ”，具有非常好的結(jié)果，只需要一小部分計(jì)算需求; 將系統(tǒng)整合到能夠預(yù)測(cè)極端天氣的模式，如颶風(fēng)，或天氣預(yù)報(bào)系統(tǒng)。生成對(duì)抗網(wǎng)絡(luò)（GAN）是一類(lèi)機(jī)器學(xué)習(xí)系統(tǒng)，許多人都非常重視，GAN無(wú)疑有助于融合HPC和AI / ML。

雖然現(xiàn)在很少有應(yīng)用結(jié)合HPC算法和AI技術(shù)，基于早期的結(jié)果，我很容易預(yù)測(cè)這是HPC應(yīng)用的未來(lái)，并且將因?yàn)锳I帶來(lái)HPC最大的變化。

理解這十種力量

計(jì)算在某種意義上并沒(méi)有改變：它完全取決于整個(gè)系統(tǒng)對(duì)用戶的作用。雖然需求有變化，但一個(gè)完整的系統(tǒng)由硬件起來(lái)和軟件組成不會(huì)改變。實(shí)際上，很容易被單一技術(shù)（硬件或軟件）分散注意力; 最好的系統(tǒng)會(huì)謹(jǐn)慎地應(yīng)用最新技術(shù)，我非常偏愛(ài)地稱其為“選擇性加速” ，強(qiáng)調(diào)在重要時(shí)使用加速。當(dāng)我經(jīng)常使用Python時(shí)，我喜歡Python加速（一種依賴CPU的軟件技術(shù)）。當(dāng)我需要低延遲推理時(shí)，我喜歡FPGA加速。當(dāng)我只需要一點(diǎn)加速時(shí)，我不使用任何一個(gè)。這是建立平衡系統(tǒng)的藝術(shù)。這前十的名單并沒(méi)有打破為多用途機(jī)器提供最佳整體效果現(xiàn)實(shí)的平衡。

結(jié)論：AI將使用HPC，這將永遠(yuǎn)改變HPC

顯然AI將使用HPC，這將永遠(yuǎn)改變HPC。事實(shí)上，AI可能是HPC歷史上最大的變革推動(dòng)者。HPC隨著科技的發(fā)展不斷進(jìn)步，工作負(fù)載也將隨著人工智能的發(fā)展而變化。我不認(rèn)為辯論收斂與交叉給予足夠的信任的概念，人工智能用戶將加入HPC社區(qū)，并留下自己的標(biāo)記。他們也將使用非HPC系統(tǒng)，就像其他HPC用戶一樣。

將有專為AI工作負(fù)載設(shè)計(jì)和構(gòu)建的定制高性能機(jī)器，其他機(jī)器的AI工作負(fù)載也在可以在更通用的高性能設(shè)備上運(yùn)行。要平衡機(jī)器的高性能和靈活才能實(shí)現(xiàn)加速。在所有情況下，人工智能將有助于定義未來(lái)什么是超級(jí)計(jì)算，這將永遠(yuǎn)改變HPC。

James Reinders是HPC愛(ài)好者，也是擁有8本書(shū)的超過(guò)30年行業(yè)經(jīng)驗(yàn)的從業(yè)者，其中包括在英特爾工作27年經(jīng)驗(yàn)（2016年6月退休）。