在過(guò)去的幾十年間，人們對(duì)并行計(jì)算產(chǎn)生了越來(lái)越多的興趣。并行計(jì)算的主要目標(biāo)是提高運(yùn)算速度。

　　從純粹的計(jì)算視角來(lái)看，并行計(jì)算可以被定義為計(jì)算的一種形式，在這種形式下，計(jì)算機(jī)可以同時(shí)進(jìn)行許多運(yùn)算，計(jì)算原則是一個(gè)大的問(wèn)題往往可以被劃分為很多可以同時(shí)解決的小問(wèn)題。

　　從程序員的角度來(lái)說(shuō)，一個(gè)很自然的疑問(wèn)，就是如何將并發(fā)計(jì)算映射到計(jì)算機(jī)上。假設(shè)你有許多計(jì)算資源，并行計(jì)算可以被定義為同時(shí)使用許多計(jì)算資源（核心或計(jì)算機(jī)）來(lái)執(zhí)行并發(fā)計(jì)算，一個(gè)大的問(wèn)題可以被分解成多個(gè)小問(wèn)題，然后在不同的計(jì)算資源上并行處理這些小問(wèn)題。并行計(jì)算的軟件和硬件層面是緊密聯(lián)系的。事實(shí)上，并行計(jì)算通常涉及兩個(gè)不同的計(jì)算技術(shù)領(lǐng)域。

　　計(jì)算機(jī)架構(gòu)（硬件方面）

　　并行程序設(shè)計(jì)（軟件方面）

　　計(jì)算機(jī)架構(gòu)關(guān)注的是在結(jié)構(gòu)級(jí)別上支持并行性，而并行編程設(shè)計(jì)關(guān)注的是充分使用計(jì)算機(jī)架構(gòu)的計(jì)算能力來(lái)并發(fā)地解決問(wèn)題。為了在軟件中實(shí)現(xiàn)并行執(zhí)行，硬件必須提供一個(gè)支持并行執(zhí)行多進(jìn)程或多線程的平臺(tái)。大多數(shù)現(xiàn)代處理器都應(yīng)用了哈佛體系結(jié)構(gòu)（Harvard architecture），如圖1-1所示，它主要由3個(gè)部分組成。

　　內(nèi)存（指令內(nèi)存和數(shù)據(jù)內(nèi)存）

　　中央處理單元（控制單元和算術(shù)邏輯單元）

　　輸入/輸出接口

　　高性能計(jì)算的關(guān)鍵部分是中央處理單元（CPU），通常被稱為計(jì)算機(jī)的核心。在早期的計(jì)算機(jī)中，一個(gè)芯片上只有一個(gè) CPU，這種結(jié)構(gòu)被稱為單核處理器?，F(xiàn)在，芯片設(shè)計(jì)的趨勢(shì)是將多個(gè)核心集成到一個(gè)單一的處理器上，以在體系結(jié)構(gòu)級(jí)別支持并行性，這種形式通常被稱為多核處理器。因此，并行程序設(shè)計(jì)可以看作是將一個(gè)問(wèn)題的計(jì)算分配給可用的核心以實(shí)現(xiàn)并行的過(guò)程。當(dāng)實(shí)現(xiàn)一段串行算法時(shí)，你可能不需要為了編寫一個(gè)程序而特意去理解計(jì)算機(jī)架構(gòu)的細(xì)節(jié)。但是，當(dāng)在多核計(jì)算機(jī)上執(zhí)行算法時(shí)，對(duì)于程序員來(lái)說(shuō)，了解基本的計(jì)算機(jī)架構(gòu)的特點(diǎn)就顯得非常重要了。要編寫一個(gè)既正確又高效的并行程序需要對(duì)多核體系結(jié)構(gòu)有一個(gè)基本的認(rèn)識(shí)。以下介紹了并行計(jì)算的一些基本概念，以及這些概念與CUDA編程設(shè)計(jì)的聯(lián)系。