高性能計(jì)算

高性能計(jì)算簡(jiǎn)稱 HPC，是指利用聚集起來(lái)的計(jì)算能力來(lái)處理標(biāo)準(zhǔn)工作站無(wú)法完成的數(shù)據(jù)密集型計(jì)算任務(wù)，包括仿真、建模和渲染等。我們?cè)谔幚砀鞣N計(jì)算問(wèn)題時(shí)常常遇到這樣的情況：由于需要大量的運(yùn)算，一臺(tái)通用的計(jì)算機(jī)無(wú)法在合理的時(shí)間內(nèi)完成工作，或者由于所需的數(shù)據(jù)量過(guò)大而可用的資源有限，導(dǎo)致根本無(wú)法執(zhí)行計(jì)算。HPC 方法通過(guò)使用專門(mén)或高端的硬件，或是將多個(gè)單元的計(jì)算能力進(jìn)行整合，能夠有效地克服這些限制。將數(shù)據(jù)和運(yùn)算相應(yīng)地分布到多個(gè)單元中，這就需要引入并行 概念。就硬件配置而言，常用的類型有兩種：

共享內(nèi)存計(jì)算機(jī)

分布式內(nèi)存集群

在共享內(nèi)存計(jì)算機(jī)上，所有處理單元都可以訪問(wèn)隨機(jī)存取存儲(chǔ)器（RAM）；而在分布式內(nèi)存集群中，不同的處理單元或節(jié)點(diǎn) 之間無(wú)法訪問(wèn)內(nèi)存。在使用分布式內(nèi)存配置時(shí)，由于不同的處理單元不能訪問(wèn)同一個(gè)內(nèi)存空間，因此必須存在一個(gè)相互連接的網(wǎng)絡(luò)，才能在這些單元之間發(fā)送消息（或者使用其他通信機(jī)制）。鑒于有些單元共享共同的內(nèi)存空間，而其他單元又是另一種情況，現(xiàn)代 HPC 系統(tǒng)通常是融合了這兩個(gè)概念的混合體。

混合并行計(jì)算能夠最大程度地發(fā)揮共享內(nèi)存的性能優(yōu)勢(shì)。

為什么要使用 HPC

使用 HPC 的原因主要體現(xiàn)在兩個(gè)方面。首先，隨著中央處理單元（CPU）和節(jié)點(diǎn)數(shù)量的不斷增加，人們可以使用的計(jì)算能力越來(lái)越多。有了強(qiáng)大的計(jì)算能力，就能在單位時(shí)間內(nèi)執(zhí)行更多運(yùn)算，從而提高特定模型的計(jì)算速度。這就是我們所說(shuō)的加速比。加速比通常定義為：同一個(gè)任務(wù)在并行系統(tǒng)的執(zhí)行時(shí)間與在串行系統(tǒng)的執(zhí)行時(shí)間的比值。加速比的上限取決于模型并行求解的程度。舉個(gè)例子，假設(shè)一個(gè)運(yùn)算量固定的計(jì)算任務(wù)，其中 50% 的代碼可以并行執(zhí)行。在這種情況下，理論最大加速比為 2。如果并行執(zhí)行的代碼能夠上升至 95%，則理論最大加速比很可能達(dá)到 20。對(duì)于能夠?qū)崿F(xiàn)完全并行的代碼，可以不斷向系統(tǒng)中添加計(jì)算單元，因此不存在理論上的最大限制。阿姆達(dá)爾定律對(duì)這一現(xiàn)象進(jìn)行了解釋。

根據(jù)阿姆達(dá)爾定律得到的理論最大加速比。另一方面，在集群的情況下，可用的內(nèi)存量通常以線性方式增加，同時(shí)包含更多的節(jié)點(diǎn)。如此一來(lái)，隨著計(jì)算單元數(shù)量的增加，就能夠處理越來(lái)越大的模型。這稱為擴(kuò)展加速比。從某種意義上來(lái)說(shuō)，運(yùn)用這種方法可以對(duì)阿姆達(dá)爾定律提出的限制加以“欺騙”——該定律適用于固定大小的計(jì)算問(wèn)題。將計(jì)算能力和內(nèi)存提高一倍，就可以在相同的時(shí)間內(nèi)完成大小為基本任務(wù)兩倍的計(jì)算任務(wù)。Gustafson-Barsis 定律對(duì)這一現(xiàn)象作出了解釋。

根據(jù) Gustafson-Barsis 定律得到的理論最大加速比。

并行化

不同類型的建模問(wèn)題具有不同的可并行程度。以參數(shù)化掃描為例，這種問(wèn)題求解多個(gè)具有獨(dú)立的幾何、邊界條件或材料屬性的相似的模型，幾乎可以完全并行計(jì)算。具體的實(shí)現(xiàn)方法是為將每一個(gè)模型設(shè)置分配給一個(gè)計(jì)算單元。這類問(wèn)題非常適合并行計(jì)算，因此通常稱為“易并行問(wèn)題”（embarrassingly parallel problem）。易并行問(wèn)題對(duì)集群中的網(wǎng)絡(luò)速度和延遲非常敏感。（在其他情況下，由于網(wǎng)絡(luò)速度不夠快，無(wú)法有效處理通信，很可能導(dǎo)致速度減慢。）因此，可以將通用硬件連接起來(lái)，加快這類問(wèn)題的計(jì)算速度（例如，構(gòu)建 Beowulf 集群）。

一個(gè)由六臺(tái)筆記本電腦和一臺(tái)舊交換機(jī)構(gòu)成的 Beowulf 集群。有些問(wèn)題可以分解為多個(gè)更小的部分，或者說(shuō)是子問(wèn)題。例如，可以通過(guò)數(shù)據(jù)分解（數(shù)據(jù)并行）或任務(wù)分解（任務(wù)并行）來(lái)進(jìn)一步分解問(wèn)題，通常這些子問(wèn)題之間的耦合程度會(huì)直接影響它們的并行化程度。舉例來(lái)說(shuō)，易并行問(wèn)題便是一個(gè)幾乎可以完全解耦的問(wèn)題，如前面討論的參數(shù)化掃描。而完全耦合問(wèn)題的例子則是一個(gè)迭代過(guò)程 的計(jì)算必須以嚴(yán)格的串行方式進(jìn)行。當(dāng)多個(gè)子問(wèn)題相互耦合時(shí)，由于一個(gè)子問(wèn)題的中間結(jié)果可能依賴于其他子問(wèn)題，因此不能單獨(dú)進(jìn)行處理。我們需要通過(guò)信息交換（與原始串行問(wèn)題相比，還包含一些其他工作）來(lái)處理這些依賴關(guān)系。共享內(nèi)存或互連網(wǎng)絡(luò)可用于在不同的計(jì)算單元之間進(jìn)行通信和同步。根據(jù)計(jì)算任務(wù)是在共享內(nèi)存環(huán)境下還是在分布式內(nèi)存環(huán)境下運(yùn)行，有眾多因素會(huì)對(duì)可并行化以及潛在加速比產(chǎn)生影響。在多個(gè)節(jié)點(diǎn)上運(yùn)行分布式內(nèi)存仿真時(shí)，各個(gè)計(jì)算單元必須使用網(wǎng)絡(luò)進(jìn)行通信。此時(shí)，網(wǎng)絡(luò)延遲和帶寬會(huì)進(jìn)一步影響通信速度。正因如此，大多數(shù) HPC 集群都配備了高帶寬/低延遲網(wǎng)絡(luò)，實(shí)現(xiàn)在集群的各個(gè)節(jié)點(diǎn)之間快速傳輸數(shù)據(jù)。