“摩爾定律已死”這樣的說(shuō)法我們已經(jīng)聽(tīng)到很多，不管這么說(shuō)是不是嚴(yán)謹(jǐn)，摩爾定律的延續(xù)非常非常困難是不爭(zhēng)的事實(shí)。更重要的問(wèn)題是，在這個(gè)背景下，我們?cè)撛趺醋觯窟@個(gè)問(wèn)題已經(jīng)有很多討論，我也有自己的一些思考。正好今天看到黃老板在SC18講演中的這幅圖，正好可以把我的一些想法串起來(lái)，不妨和大家分享一下。

source: SC18

我在朋友圈寫(xiě)了下面一段話，可以作為一個(gè)摘要：

以前，在摩爾定理作用下，我們可以依賴半導(dǎo)體技術(shù)的發(fā)展“粗放經(jīng)營(yíng)”，很多優(yōu)化的工作都停留在學(xué)術(shù)圈。現(xiàn)在失去了這個(gè)“紅利”，我們必須“精耕細(xì)作”：找到合適的架構(gòu)，合適的方法，合適的精度，進(jìn)行全棧優(yōu)化。而這些“細(xì)活”都需要更多的時(shí)間和精力，能否實(shí)現(xiàn)依賴于提高生產(chǎn)效率（productivity）的工具。

首先是找到合適的架構(gòu)，這個(gè)在我的公眾號(hào)文章里已經(jīng)討論的太多了。CPU，GPU，DSP，ASIP，ASIC，F(xiàn)PGA，CGRA等等，我們有各種選擇，永遠(yuǎn)是trade-off。在之前摩爾定律可以給我們10x的性能提升的預(yù)期下，對(duì)于很多應(yīng)用來(lái)說(shuō)，不需進(jìn)行太多權(quán)衡?，F(xiàn)在，如果我們還想要更強(qiáng)的算力，則必須把目光放到其它選擇上，更多的使用專用的架構(gòu)，構(gòu)成更高效的異構(gòu)系統(tǒng)。我們已經(jīng)看到很多這方面的討論和各種創(chuàng)新（或者“復(fù)古”），就不多說(shuō)了。

找到合適的方法是個(gè)有趣也更大的話題，多說(shuō)幾句。在HPC的背景下，這部分主要是在講仿真和AI的結(jié)合。我們知道，HPC的很多典型應(yīng)用都是大規(guī)模的數(shù)值仿真，比如天氣建模和預(yù)測(cè)，分子動(dòng)力學(xué)，天體運(yùn)動(dòng)等等。而這些工作，需要大量的運(yùn)算資源，消耗大量時(shí)間。過(guò)去，隨著半導(dǎo)體技術(shù)的進(jìn)步，過(guò)一段時(shí)間我們就自然能有性能大幅提升的系統(tǒng)，可以運(yùn)行越大越大的模型。但是，現(xiàn)在這個(gè)預(yù)期越來(lái)越難實(shí)現(xiàn)。那么，針對(duì)這些應(yīng)用，是否可以找到更高效的硬件架構(gòu)呢？如果不改進(jìn)傳統(tǒng)的算法，這條路也很困難。在這個(gè)背景的下，AI方法似乎又成了“救世主”?，F(xiàn)在很多研究是在傳統(tǒng)的數(shù)值仿真中使用機(jī)器學(xué)習(xí)的方法，或者把仿真和機(jī)器學(xué)習(xí)相結(jié)合。具體來(lái)說(shuō)，可以先用傳統(tǒng)的仿真方法來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，然后使用這個(gè)神經(jīng)網(wǎng)絡(luò)模型的inference結(jié)果來(lái)代替數(shù)值計(jì)算，對(duì)特定問(wèn)題的結(jié)果進(jìn)行預(yù)測(cè)。訓(xùn)練這個(gè)神經(jīng)網(wǎng)絡(luò)雖然仍然需要大量運(yùn)算，但inference的成本則非常低。另一方面，神經(jīng)網(wǎng)絡(luò)的運(yùn)算可以很好的使用專用硬件來(lái)加速，這就更進(jìn)一步提升了整體的效率。其實(shí)這個(gè)思路適用于HPC之外的領(lǐng)域。一般的說(shuō)，當(dāng)我們無(wú)法直接找到一個(gè)合適的硬件架構(gòu)來(lái)加速特定算法的時(shí)候，我們?cè)撍伎嫉氖悄芊裾业綄?duì)硬件更友好的算法。我之前談過(guò)5G的基帶處理用AI方法實(shí)現(xiàn)的問(wèn)題（AI芯片在5G中的機(jī)會(huì)），也可能有類似的收益。當(dāng)然，無(wú)線通信基帶處理已經(jīng)是高度優(yōu)化的系統(tǒng)，AI方法要擊敗傳統(tǒng)方法難度要大得多。比如，在基帶處理中一般都對(duì)比特精度做過(guò)非常細(xì)致的優(yōu)化。這就引出下一個(gè)問(wèn)題，選擇合適的精度。

對(duì)于實(shí)現(xiàn)成本和運(yùn)算效率來(lái)說(shuō)，減少比特精度的收益是很大的（下圖之前貼過(guò)）。

source: Graphcore

從目前的實(shí)踐來(lái)看，AI算法和傳統(tǒng)HPC算法相比，對(duì)精度的要求低得多。因此我們看到很多AI芯片主要強(qiáng)調(diào)在FP16或者INT8中的精度?？梢哉f(shuō)，對(duì)目前AI芯硬件效率的提升，低比特精度有很大貢獻(xiàn)。在HPC領(lǐng)域，如果結(jié)合上面討論的用神經(jīng)網(wǎng)絡(luò)模型替代傳統(tǒng)算法的方法，這部分優(yōu)化的空間也很大。再對(duì)比一下通信基帶處理，我們通常為了能夠減少一個(gè)比特而做大量的優(yōu)化和驗(yàn)證。在一個(gè)接收機(jī)中，不同的算法模塊采用不同的比特是很常見(jiàn)的。當(dāng)然這種優(yōu)化有一個(gè)前提，就是算法必須定型。在目前AI算法還在不斷優(yōu)化的過(guò)程當(dāng)中，同時(shí)支持多種精度的硬件就是目前更為合理的選擇。

下一個(gè)話題是全棧優(yōu)化，我之前也討論過(guò)。畢竟，如果可能，誰(shuí)不想實(shí)現(xiàn)全棧優(yōu)化呢？現(xiàn)在，這個(gè)話題被越來(lái)越多的提及，除了對(duì)計(jì)算效能的需求越來(lái)越高，通過(guò)單純優(yōu)化軟件或者硬件都難以滿足這個(gè)原因之外，另一個(gè)重要原因是，在特定領(lǐng)域，比如AI，確實(shí)有實(shí)現(xiàn)的可能。全棧優(yōu)化的難度在于探索空間太大，我們不得不分而治之。而對(duì)AI來(lái)說(shuō)，目前基于神經(jīng)網(wǎng)絡(luò)的方法有個(gè)很好的特征，就是可以用比較規(guī)則的硬件進(jìn)行加速，大大縮小了硬件優(yōu)化的空間。當(dāng)然，即便是在特定領(lǐng)域，全棧優(yōu)化也還是個(gè)難題，也許最終還是要靠AI來(lái)解決（似乎現(xiàn)在難題都丟給了AI），但我們總算有信心往前趟趟路。

總得來(lái)說(shuō)，上述這些方向大多還是老生常談，在過(guò)去的幾十年有各種各有的研究和實(shí)驗(yàn)。但很多相關(guān)的工作停留在了學(xué)術(shù)圈或者研究階段，而沒(méi)有大規(guī)模的應(yīng)用。原因主要在下面幾個(gè)方面：第一是在驅(qū)動(dòng)力方面，或者沒(méi)有足夠的收益，不能提供支持商用的投入產(chǎn)出比；或者沒(méi)有足夠的競(jìng)爭(zhēng)壓力。第二是技術(shù)上確實(shí)很難實(shí)現(xiàn)，比如全棧優(yōu)化的問(wèn)題。還有一種情況，我們有一定的驅(qū)動(dòng)力，也知道怎么去做，但就是沒(méi)辦法高效的去做。換句話說(shuō)，即生產(chǎn)率（productivity）太低導(dǎo)致成本太高。如果阻礙我們前進(jìn)的關(guān)鍵問(wèn)題為此，那么最可能的結(jié)果是新工具或新的方法學(xué)的出現(xiàn)。各個(gè)AI Framework對(duì)ML/DL快速發(fā)展起到的關(guān)鍵作用就是很好的佐證。其實(shí)，黃老板在后面也著重講了這個(gè)問(wèn)題，贊揚(yáng)了開(kāi)源領(lǐng)域的各種工具，當(dāng)然重點(diǎn)還是CUDA和RAPIDS。要應(yīng)對(duì)AI領(lǐng)域給我們帶來(lái)的各種新挑戰(zhàn)，發(fā)明新工具或者改造老工具的需求將會(huì)非常旺盛。另一方面，不斷強(qiáng)化的AI本身在工具中的應(yīng)用也會(huì)越來(lái)越普遍，AutoML就是很好的例子。最終也許會(huì)真的實(shí)現(xiàn)AI設(shè)計(jì)AI，AI設(shè)計(jì)計(jì)算機(jī)。甚至，也許真的像阿西莫夫的科幻小說(shuō)所描述的，星際旅行的飛船并不是由人類發(fā)明，而是由人類設(shè)計(jì)的AI（金頭腦）所發(fā)明。

寫(xiě)到這里，發(fā)現(xiàn)題目起的有點(diǎn)大，上面講的只是幾個(gè)點(diǎn)而已。不過(guò)，如果我們仔細(xì)觀察，這些點(diǎn)都是相互關(guān)聯(lián)的，結(jié)合在一起又可能形成新的機(jī)會(huì)，這才是最有趣的地方。畢竟，現(xiàn)在是黃金時(shí)代嘛。