Transformer在汽車領域應用自然是針對視覺的，ChatGPT3這種至少需要八張英偉達A100顯卡的大模型是絕對無法出現(xiàn)在汽車上的。視覺類的Transformer以微軟亞洲研究院的Swin Transformer和谷歌大腦的ViT為代表。Swin Transformer出現(xiàn)較早，其出現(xiàn)證明Transformer能大幅超越CNN，即SOTA。

Transformer特別適合多種分類的語義分割應用，而語義分割又是OccupancyNetwork的關鍵。語義分割方面，即使訓練數(shù)據(jù)不多，Transformer也能壓倒CNN或FPN。如果是簡單的目標檢測，訓練數(shù)據(jù)不多的情況下，CNN基本不落下風。

汽車領域擁抱Transformer需要多少AI算力？AI算力需求與輸入像素數(shù)和模型參數(shù)關系最為密切，要計算AI算力需求，有一個關鍵的名詞：token，其在自然語言處理（NLP）里指最小的詞；在圖像領域，指patch，即最小的圖像“塊”，而tokenization是指將輸入的語言或圖像切割為token的過程，通常transformer是16*16像素，這個自然是像素越小越好，一句話分詞分的越細，這句話的語義也就更準確，一句話分的越粗，語義偏差就可能越大。據(jù)此經(jīng)簡化計算，200萬像素所包含的token數(shù)就是大約1萬個。800萬像素就是大約4萬個。

Transformer結(jié)構(gòu)圖

來源：互聯(lián)網(wǎng)

Transformer由N個相同的層組成，每層包含兩部分，一部分為自注意力，另一部分為MLP，每一層最后都有一個歸一化。

谷歌的ViT結(jié)構(gòu)

來源：谷歌

視覺領域的Transformer主要是使用了Encoder部分，如上圖所示。

微軟亞洲研究院提出的Swin Transformer結(jié)構(gòu)

來源：微軟亞洲研究院

與谷歌簡單地硬切割patch有所不同，微軟為了避免太多的token，在token化的過程中下了很多工夫，但實際計算量差不多。

Transformer第一步是將輸入圖像轉(zhuǎn)換為嵌入矩陣X，同時也有空間位置編碼。

位置編碼是采用了三角函數(shù)算法，這個算法是標量計算，CPU做起來效率最高。

第二步是多頭注意力計算。

對于一個視頻輸入序列X，它需要和權(quán)重參數(shù)模型做矩陣乘法，即和k、v、q的權(quán)重矩陣做乘法。然后，計算每個Query（X與q的矩陣乘積）和所有Key（X與k的矩陣乘積）的匹配度，并用這個匹配度來計算Value的加權(quán)和：

Attention(Q,K, V) = softmax(Q * K^T / sqrt(d)) * V

這里的Q就是Query，K就是Key，V就是Value（X與v矩陣乘積）。X基本上等同于視頻的token數(shù)量，k、v、q參數(shù)量?？傆嬎懔繛?*3*網(wǎng)絡隱藏層維度h的平方。

把幾個head自注意力做Concat。總運算量為2*網(wǎng)絡隱藏層維度的平方

接下來是歸一化層，最后是前饋層。

總計算量是2*8*網(wǎng)絡隱藏層維度的平方。

最后累加這三層的總計算量為（6+2+16=24）*網(wǎng)絡層數(shù)*網(wǎng)絡隱藏層維度的平方。

假設一個網(wǎng)絡有520億參數(shù)，64層隱藏層，隱藏層的維度是8192，那么每個token的推理計算量就是64*24*（8192的平方）=103079215104次運算，這個數(shù)值除以2就是515億，基本等同于網(wǎng)絡的總參數(shù)量，實際就是每個token，推理時需要兩次運算，一次矩陣乘法，一次是累加。

最終計算量為token數(shù)量*2*網(wǎng)絡參數(shù)總量。

目前，Transformer視覺模型仍然遠遠落后于語言模型。具體而言，SwinTransformer二代參數(shù)大約30億， ViT-E有 40億參數(shù)，而入門級語言模型通常超過 100億 參數(shù)，更別說具有5400億參數(shù)的大型語言模型。值得注意的是，谷歌于2023年2月推出了220億參數(shù)的ViT-22B。

假設我們使用ViT-E模型，輸入八百萬像素的視頻，采用16*16的patch，那么token數(shù)大約是4.08萬個，通常自動駕駛幀率是每秒30幀（即每秒計算30次），那么每秒運算量就是30*4.08萬*40億*2=2400萬億次，即4896TOPS。如果是200萬像素，那么token約為1萬個，算力需要1200TOPS。

顯然，這個算力需求太高，需要降級，視覺Transformer參數(shù)最小為10億個，特斯拉AI日上就寫了其參數(shù)是10億個。不過，大模型參數(shù)越多，效果越好，然后再降低幀率到15Hz。有人會說乘積累加如果設計的非常好，勉強來說一次計算也可以完成，即我們常說MAC運算。

不過，Transformer每層最后都有非線性的歸一化運算，它在每一層之外是串行結(jié)構(gòu)，層內(nèi)是并行結(jié)構(gòu)，難以實現(xiàn)一次計算完成乘積累加；如果是CNN網(wǎng)絡，全并行結(jié)構(gòu)，是可以實現(xiàn)，更何況還有位置編碼等標量計算。

最低下限就是15*1萬*10億*2=300萬億次，即300TOPS。特斯拉一代FSD的算力不過144TOPS。

實際上，無論是GPU還是AI加速器，其利用率都是很低的，特別是transformer其獨特的網(wǎng)絡結(jié)構(gòu)，它是源自串行的RNN網(wǎng)絡，AI加速器或者說AI專用芯片基本上都是針對矩陣并行計算設計的，幾乎沒考慮過串行。GPU略微好點，CPU的效率最高，奈何CPU核心數(shù)太少。

一般GPU的利用率是45%，低的只有30%，最高一般不超過55%，而AI專用芯片估計只有20-30%。https://arxiv.org/pdf/2104.04473.pdf，這篇文章里有詳細數(shù)據(jù)，由英偉達、微軟和斯坦福大學聯(lián)合完成的論文，采用的是1024個英偉達A100的運算體系，典型的運算效率是45%，谷歌的TPV4針對Transformer做了優(yōu)化，增加了稀疏核，最終的利用率略高，也只是50%，沒做過優(yōu)化的AI專用芯片，最低甚至是0%，完全無法運行。

這樣一來，最低下限又要增加了，按50%的利用率，最低下限是600TOPS。然而這只是兩百萬像素，現(xiàn)在國內(nèi)基本都是800萬像素，且不止一個攝像頭是800萬像素?，F(xiàn)在我們建設Transformer只用在一個800萬像素攝像頭上，并且AI處理器只負責這一個攝像頭，即便如此算力還需要2400TOPS，需要10個Orin-X級聯(lián)，還需要一個近千美元的PCIe交換機。實際上即便是在學術領域，目前最高的視覺Transformer的分辨率是1536*1536=236萬像素，這可是在1024個A100顯卡上運行的。

除了處理器本身，還有一個瓶頸，那就是存儲帶寬。在算力需求不高的時代，處理器的延遲主要來自存儲系統(tǒng)，因為處理器運算力很強，但到了1000TOPS時代，處理器的延遲成了最主要的構(gòu)成。

CPU控制GPU工作的流程

來源：互聯(lián)網(wǎng)

GPU和AI芯片都是協(xié)處理器，也就是Device，CPU才是Host主機。GPU和AI芯片與鼠標、鍵盤、顯示器、打印機一樣都算是外設，任務的分派和調(diào)度，數(shù)據(jù)流的控制以及數(shù)據(jù)的讀取與寫入均受CPU控制。數(shù)據(jù)首先是在CPU指令調(diào)度下才讀取的，數(shù)據(jù)整形（如果AI芯片或GPU內(nèi)部有標量運算單元也可以做）后再交給GPU，計算完后再傳輸給CPU寫入內(nèi)存。

某些系統(tǒng)會有DMA如MCU，DMA是指無需經(jīng)過CPU的直接存儲，但需經(jīng)過數(shù)據(jù)總線，數(shù)據(jù)總線帶寬未必有內(nèi)存寬；DMA主要是緩解CPU的工作壓力，因為MCU內(nèi)部的CPU性能很弱。數(shù)據(jù)中心也有一些基于通訊協(xié)議的DMA，通常只用于數(shù)據(jù)中心的多顯卡系統(tǒng)。

AI運算的過程由CPU發(fā)起，取指令、譯碼、讀取數(shù)據(jù)、運算、寫入結(jié)果。由于Transformer的權(quán)重模型太大，至少1GB以上，所以無法放進芯片內(nèi)部，只能放在DRAM內(nèi)部，每一次運算都需要調(diào)取權(quán)重模型一次，計算完的結(jié)果還要寫入存儲DRAM。

前面我們看到，由于Transfomer需要超高算力，處理器本身計算消耗的時間已經(jīng)是延遲的最低下限，沒有留給讀取和寫入存儲系統(tǒng)的時間，馮諾依曼架構(gòu)又是數(shù)據(jù)和指令是分開存儲的，無法同時讀取。換言之，存儲系統(tǒng)讀取權(quán)重模型和寫入結(jié)果的時間必須快到可以忽略不計。即便我們假設寫入結(jié)果的時間可以忽略，但是高達1GB權(quán)重的讀取時間要做到可以忽略不計，那么需要存儲帶寬達到1TB/s，那么每次讀取權(quán)重模型的時間可以接近1毫秒，可以忽略不計。實際存儲帶寬也是有利用率，通常不會到80%。

最新的GDDR6X最高可以做到1TB/s的帶寬，但這只是最小10億的參數(shù)量，典型視覺transformer的參數(shù)量是30-40億，存儲帶寬需要3-4TB/s，英偉達4萬美元的H100PCIe的帶寬不過2.04TB/s。

最后我們來簡單計算一下訓練所需要的計算量，語言大模型的訓練量30000億個Token，換算成800萬像素就是681小時左右的視頻，訓練需要一次前向反饋和一次反向傳播，還需要一次中間激活，大約是推理運算量的4倍。

我們將參數(shù)量取30億，訓練681小時的運算量為3萬億*30億*8=720萬億億，假設用128個英偉達A100（FP16算力是312TOPS）做訓練，GPU利用效率是45%，那么需要大約4.7天訓練完成。128個英偉達A100，目前價格大約是128*50萬人民幣=6400萬人民幣，從訓練的角度看，大型車企還是撐的住的。

審核編輯：劉清