近期隨著 AI 市場(chǎng)的爆發(fā)式增長(zhǎng)，作為 AI 背后技術(shù)的核心之一 GPU（圖形處理器）的價(jià)格也水漲船高。GPU 在人工智能中發(fā)揮著巨大的重要，特別是在計(jì)算和數(shù)據(jù)處理方面。目前生產(chǎn) GPU 主流廠商其實(shí)并不多，主要就是 NVIDIA、AMD、Intel、高通等廠家。本文將主要聊聊 NVIDIA GPU 的核心架構(gòu)及架構(gòu)演進(jìn)。

深入了解GPU架構(gòu)

在探討 NVIDIA GPU 架構(gòu)之前，我們先來(lái)了解一些相關(guān)的基本知識(shí)。GPU 的概念，是由 NVIDIA 公司在 1999 年發(fā)布 Geforce256 圖形處理芯片時(shí)首先提出，從此 NVIDIA 顯卡的芯就用 GPU 來(lái)稱(chēng)呼，是專(zhuān)門(mén)設(shè)計(jì)用于處理圖形渲染的處理器，主要負(fù)責(zé)將圖像數(shù)據(jù)轉(zhuǎn)換為可以在屏幕上顯示的圖像。

與 CPU 不同，GPU 具有數(shù)千個(gè)較小的內(nèi)核（內(nèi)核數(shù)量取決于型號(hào)和應(yīng)用），因此 GPU 架構(gòu)針對(duì)并行處理進(jìn)行了優(yōu)化。GPU 可以同時(shí)處理多個(gè)任務(wù)，并且在處理圖形和數(shù)學(xué)工作負(fù)載時(shí)速度更快。GPU 架構(gòu)是賦予 GPU 功能和獨(dú)特能力的一切，主要組成包括：

CUDA 核心：GPU 架構(gòu)中的主要計(jì)算單元，能夠處理各種數(shù)學(xué)和邏輯運(yùn)算。

內(nèi)存系統(tǒng)：包括 L1、L2 高速緩存和共享內(nèi)存等，用于存儲(chǔ)數(shù)據(jù)和指令，以減少 GPU 訪問(wèn)主存的延遲。

高速緩存和緩存行：用于提高 GPU 的內(nèi)存訪問(wèn)效率。

TPC/SM：CUDA 核心的分組結(jié)構(gòu)，一個(gè) TPC 包含兩個(gè) SM，每個(gè) SM 都有自己的 CUDA 核心和內(nèi)存。

Tensor Core（ 2017 年 Volta 架構(gòu)引入）：Tensor張量核心，用于執(zhí)行張量計(jì)算，支持并行執(zhí)行FP32與INT32運(yùn)算。

RT Core（2018 年 Turing 架構(gòu)引入 ）：光線追蹤核心，負(fù)責(zé)處理光線追蹤加速。

此外，NVIDIA GPU 架構(gòu)還包括內(nèi)存控制器、高速緩存控制器、CUDA 編譯器和驅(qū)動(dòng)程序等其他組件，這些組件與SM 和其他核心組件協(xié)同工作，可以實(shí)現(xiàn)高效的并行計(jì)算和內(nèi)存訪問(wèn)，提高 GPU 的性能和能效。下面我們來(lái)詳細(xì)了解一下這些 GPU 架構(gòu)每一部分的作用及功能。

Streaming?Multiprocessor(SM)

從上圖中可以看出 GPU 主要有許許多多的 SM 組成，SM 全稱(chēng)為 Streaming Multiprocessor 流式多處理器，是 NVIDIA GPU 架構(gòu)中的重要組成部分，也是 GPU 的基本計(jì)算單元。每個(gè) SM 由多個(gè) CUDA 核心、紋理單元、Tensor Core、流控制器和存儲(chǔ)器等輔助單元組成，可以同時(shí)執(zhí)行多個(gè)計(jì)算任務(wù)，并具有高度的靈活性和性能。

最先支持 CUDA 的 GPU —— G80 或 GeForce 8800 GTX，包含 8 個(gè) TPC，每一個(gè) TPC 中有兩個(gè) SM，一共有 16 個(gè) SM。接下來(lái)支持 CUDA 的 GPU 是 GT200 或 GeForceGTX 280，它增加了 TPC 中的 SM 數(shù)量，包含 10 個(gè) TPC 并且每個(gè) TPC 含有 3 個(gè) SM，總共是 30 個(gè) SM。每一代 GPU 架構(gòu)所支持的 SM 核心數(shù)量都不相同，如在 2020 年 Ampere 架構(gòu)的完整 GA102 核心中，總共有 92 個(gè) SM，每個(gè) SM 包含 128 個(gè) CUDA 核心、4 個(gè) Tensor 核心和 1 個(gè)RT 核心。

CUDA Core

看完 SM 的介紹，接下來(lái)我們看看構(gòu)成 SM 最重要的組成部分 CUDA Core。

CUDA 全稱(chēng)為統(tǒng)一計(jì)算設(shè)備架構(gòu) (Compute Unified Device Architecture) ，是一個(gè)并行計(jì)算平臺(tái)，同時(shí)也是一個(gè)應(yīng)用程序編程接口 (API)。它是由 NVIDIA 專(zhuān)門(mén)設(shè)計(jì)，目的在于讓軟件開(kāi)發(fā)人員能夠更好地控制他們可以使用的物理資源。使用 C 或 C++ 編碼的計(jì)算機(jī)程序員對(duì)資源分配有很大的控制權(quán)。CUDA 系統(tǒng)極大地促進(jìn)了 OpenACC 和 OpenCL 等框架的普及和使用。CUDA 核心也是并行處理器，允許不同處理器同時(shí)處理數(shù)據(jù)。這與雙核或四核 CPU 類(lèi)似，只不過(guò) GPU 有數(shù)千個(gè) CUDA 核心。區(qū)別在于 CPU 更像是一個(gè)管理員，負(fù)責(zé)控制整個(gè)計(jì)算機(jī)，而 GPU 適合做具體的工作。

并行計(jì)算

CUDA 的巨大優(yōu)勢(shì)是任務(wù)并行化，允許通過(guò)擴(kuò)展在 C 和 C++ 中并行工作，處理不同重要性級(jí)別的任務(wù)和數(shù)據(jù)。這些并行化任務(wù)可以使用各種高級(jí)語(yǔ)言來(lái)執(zhí)行，例如 C 語(yǔ)言、C++以及 Python，或者簡(jiǎn)單地使用包含 OpenACC 指令的開(kāi)放標(biāo)準(zhǔn)。

CUDA 是目前最常用的任務(wù)加速平臺(tái)，并且技術(shù)的發(fā)展已經(jīng)取得了巨大的進(jìn)步。CUDA 技術(shù)是使用最廣泛、最重要的技術(shù)之一。

應(yīng)用范圍

CUDA 應(yīng)用范圍包括加密哈希、物理引擎、游戲開(kāi)發(fā)等相關(guān)項(xiàng)目，在科學(xué)行業(yè)，在測(cè)量、測(cè)繪、天氣預(yù)報(bào)和其他等相關(guān)項(xiàng)目得到了很大改善和簡(jiǎn)化。目前，數(shù)以千計(jì)的研究人員可以在學(xué)術(shù)和制藥領(lǐng)域從事分子動(dòng)力學(xué)研究，這簡(jiǎn)化了藥理學(xué)的開(kāi)發(fā)和研究，從而在治療癌癥、阿爾茨海默病和其他當(dāng)今無(wú)法治愈的疾病等復(fù)雜疾病方面在更短的時(shí)間內(nèi)取得進(jìn)展。

CUDA 還可以對(duì)有風(fēng)險(xiǎn)的金融操作進(jìn)行預(yù)測(cè)，將效率加快至少十八倍或更多。其他例子包括 Tesla GPU 在云計(jì)算和其他需要強(qiáng)大工作能力的計(jì)算系統(tǒng)中廣受好評(píng)。CUDA 還允許自動(dòng)駕駛車(chē)輛簡(jiǎn)單高效地運(yùn)行，能夠進(jìn)行其他系統(tǒng)無(wú)法完成的實(shí)時(shí)計(jì)算。這種計(jì)算敏捷性使車(chē)輛能夠在很短的時(shí)間內(nèi)做出重要決策，避開(kāi)障礙物，順利行駛或避免事故。

Tensor Core

隨著 GPU 開(kāi)始用于人工智能和機(jī)器學(xué)習(xí)工作，NVIDIA 從 2017 年開(kāi)始在其數(shù)據(jù)中心 GPU 的 Volta 架構(gòu)中引入了 Tensor Core。但是直到 NVIDIA?Turing 架構(gòu)的推出（RTX 20 系列 GPU）這些核心才出現(xiàn)在消費(fèi)類(lèi) GPU 中。

CUDA 核心足以滿足計(jì)算工作負(fù)載，但 Tensor Core 的速度明顯更快。CUDA 核心每個(gè)時(shí)間周期只能執(zhí)行一項(xiàng)操作，但 Tensor 核心可以處理多項(xiàng)操作，從而帶來(lái)令人難以置信的性能提升。從根本意義上來(lái)說(shuō)，Tensor Core 所做的就是提高矩陣乘法的速度。

計(jì)算速度的提升確實(shí)是以準(zhǔn)確性為代價(jià)的，從這點(diǎn)上來(lái)說(shuō) CUDA 核心的準(zhǔn)確度要高得多。但是在訓(xùn)練機(jī)器學(xué)習(xí)模型時(shí)，Tensor Core 在計(jì)算速度和總體成本方面要有效得多，此時(shí)準(zhǔn)確性的損失常常被忽略。

較之 CUDA Core 專(zhuān)門(mén)處理圖形工作負(fù)載，Tensor Core 更擅長(zhǎng)處理數(shù)字工作負(fù)載。在它們同時(shí)工作的過(guò)程中，在某些場(chǎng)景下可以互換。

RT Core

2018 年 NVIDIA 發(fā)布了新一代的旗艦顯卡 RTX 2080，搭載了全新的 Turing（圖靈）架構(gòu)。全新的架構(gòu)也同時(shí)添加了名為 RT Core 的計(jì)算單元，相當(dāng)于在 Volta 上增加的 Tensor Core，都是為了特殊應(yīng)用架構(gòu)而設(shè)計(jì)的計(jì)算單元。該計(jì)算單元的目的是為了讓 GPU 擁有實(shí)時(shí)光線追蹤的能力，一種可以讓畫(huà)面更換新的渲染演算法。

光線追蹤（Ray Tracing）的原理是從用戶端為起點(diǎn)，尋找光線反射和折射的路徑并算出用戶會(huì)看到的物體顏色及亮度。然而，由于使大量光線在空間中反射決策，且空間中實(shí)際的狀況未知，每一張圖所需的計(jì)算量極其巨大，無(wú)法即時(shí)計(jì)算出結(jié)果，因此游戲產(chǎn)業(yè)尚未大量采用該技術(shù)。在發(fā)布的 RTX 2080 顯卡中，NVIDIA 正式將 RT Core 加入繪圖卡，讓實(shí)時(shí)光學(xué)渲染法（Rendering）不再是說(shuō)說(shuō)而已。

GPU架構(gòu)演進(jìn)

在了解完 GPU 架構(gòu)組成部分后，我們來(lái)看看 NVIDIA GPU 架構(gòu)的演進(jìn)。自 NVIDIA 成立之初，其 GPU 架構(gòu)歷經(jīng)多次變革。從 G80、GT200 系列，到 Fermi、Kepler、Pascal 和 Volta 架構(gòu)等，以及近期的 Ampere 和 Hopper 架構(gòu)。值得一提的是架構(gòu)命名方式從 Tesla 架構(gòu)開(kāi)始每一代以科學(xué)家命名，每一代都有其獨(dú)特的設(shè)計(jì)和特點(diǎn)，簡(jiǎn)單介紹下其中幾個(gè)架構(gòu)。

G80 架構(gòu)：英偉達(dá)第一個(gè) GPU 架構(gòu)，采用了 MIMD（多指令流多數(shù)據(jù)流）標(biāo)量架構(gòu)，擁有 128 個(gè) SP（流處理器），核心頻率范圍從 250MHz 到 600MHz，搭配 DDR3 顯存。該架構(gòu)是當(dāng)時(shí)最強(qiáng)大的 GPU 之一，但是功耗較高。

Fermi 架構(gòu)：英偉達(dá)第一個(gè)采用 GPU-Direct 技術(shù)的 GPU 架構(gòu)，它擁有 32 個(gè) SM（流多處理器）和 16 個(gè) PolyMorph Engine 陣列，每個(gè) SM 都擁有 1 個(gè) PolyMorph Engine 和 64 個(gè) CUDA 核心。該架構(gòu)采用了 4 顆芯片的模塊化設(shè)計(jì)，擁有 32 個(gè)光柵化處理單元和 16 個(gè)紋理單元，搭配 GDDR5 顯存。

Volta 架構(gòu)：采用了全新的設(shè)計(jì)理念和技術(shù)，擁有 256 個(gè) SM 和 32 個(gè) PolyMorph Engine 陣列，每個(gè) SM 都擁有 64 個(gè) CUDA 核心。該架構(gòu)采用了全新的 Tensor 張量核心、ResNet 和 InceptionV3 加速模塊等技術(shù)，搭配 GDDR6X 顯存。

Turing 架構(gòu)：代表產(chǎn)品為 GeForce RTX 20 系列。該架構(gòu)首次引入了光線追蹤（Ray Tracing）和深度學(xué)習(xí)超級(jí)采樣（DLSS），為游戲和設(shè)計(jì)領(lǐng)域帶來(lái)了革命性的視覺(jué)效果和性能提升。此外，圖靈架構(gòu)還優(yōu)化了著色器性能，以提高渲染效率和能效比。Turing SM 設(shè)計(jì)采用全新架構(gòu)，每個(gè) TPC（Texture and Compute Cluster，紋理和計(jì)算集群）均包含兩個(gè) SM，每個(gè) SM 共有 64 個(gè) FP 32 核心和 64 個(gè) INT32 核心。也就是說(shuō)，每個(gè) SM 都包含 128 個(gè)核心。這些核心可以并行執(zhí)行 FP32 與 INT32 運(yùn)算。每個(gè) Turing SM 還擁有 8 個(gè)混合精度 Turing Tensor 核心和 1 個(gè) RT（Ray Tracing，光線追蹤）核心。

Ampere 架構(gòu)：代表產(chǎn)品為 GeForce RTX 30 系列。該架構(gòu)繼續(xù)優(yōu)化并行計(jì)算能力，并引入了更先進(jìn)的 GDDR6X 內(nèi)存技術(shù)，大幅提高了內(nèi)存帶寬和性能。相比 Turing 架構(gòu)，Ampere 架構(gòu)中的 SM 在 Turing 基礎(chǔ)上增加了一倍的 FP32 運(yùn)算單元，這使得每個(gè) SM 的 FP32 運(yùn)算單元數(shù)量提高了一倍，同時(shí)吞吐量也就變?yōu)榱艘槐?。此外，安培架?gòu)還改進(jìn)了著色器性能和張量核（Tensor Cores），進(jìn)一步加速深度學(xué)習(xí)和人工智能任務(wù)的處理速度。

經(jīng)過(guò)幾十年的探索和發(fā)展，NVIDIA 的 GPU 架構(gòu)以其層次化的內(nèi)存設(shè)計(jì)、多線程技術(shù)、優(yōu)化內(nèi)存層次結(jié)構(gòu)、混合精度計(jì)算技術(shù)和自動(dòng)功耗優(yōu)化技術(shù)，實(shí)現(xiàn)了高效、可擴(kuò)展、靈活和能效比這幾個(gè)關(guān)鍵目標(biāo)。從最初的 GeForce 系列到最新的 Hopper 架構(gòu)，NVIDIA 不斷引領(lǐng)著 GPU 架構(gòu)的發(fā)展，提供了強(qiáng)大的性能和創(chuàng)新的技術(shù)，從而在圖形處理和人工智能等領(lǐng)域取得了顯著的成功。

編輯：黃飛

?