[首發(fā)于智駕最前沿微信公眾號]在人工智能技術(shù)的發(fā)展進(jìn)程中，大模型以驚人的泛化能力和邏輯推理水平，正改變著自動(dòng)駕駛的技術(shù)路徑。過去，自動(dòng)駕駛系統(tǒng)主要依賴于人工規(guī)則和模塊化設(shè)計(jì)，這種方式雖然在受控環(huán)境下表現(xiàn)穩(wěn)定，但在面對復(fù)雜多變的城市道路場景和長尾場景時(shí)，就顯得捉襟見肘。

隨著深度學(xué)習(xí)技術(shù)的演進(jìn)，基于Transformer架構(gòu)的大規(guī)模神經(jīng)網(wǎng)絡(luò)開始在感知、預(yù)測與規(guī)劃任務(wù)中占據(jù)主導(dǎo)地位，展現(xiàn)出處理復(fù)雜交互和理解駕駛環(huán)境的巨大潛力。

這些模型一般會(huì)在擁有數(shù)千顆高性能芯片的云端集群中訓(xùn)練，其參數(shù)規(guī)模動(dòng)輒達(dá)到數(shù)十億甚至上百億。將這樣龐大的數(shù)據(jù)塞進(jìn)一臺汽車顯然不合理。

車載計(jì)算平臺在提供算力的同時(shí)，還必須在有限的散熱空間、動(dòng)力電池功耗上限以及嚴(yán)苛的成本控制之間尋找平衡。車載環(huán)境對計(jì)算資源的限制是全方位的，這種限制不僅體現(xiàn)在運(yùn)算能力上，更體現(xiàn)在顯存帶寬、存儲(chǔ)空間以及實(shí)時(shí)響應(yīng)的確定性要求中。

云端模型在推理時(shí)可以容忍數(shù)秒的延遲，但對于時(shí)速百公里的自動(dòng)駕駛車輛而言，幾毫秒的決策延遲就可能決定生死。此外，由于大模型在運(yùn)行過程中會(huì)產(chǎn)生海量的數(shù)據(jù)吞吐，車端有限的顯存帶寬會(huì)成為系統(tǒng)運(yùn)行的瓶頸，導(dǎo)致昂貴的計(jì)算核心因?yàn)椤暗葦?shù)據(jù)”而處于空轉(zhuǎn)狀態(tài)。

因此，如何將云端大模型的龐大能力，通過科學(xué)的手段進(jìn)行壓縮、精簡與適配，使其在資源受限的車端計(jì)算平臺上依然能夠保持精準(zhǔn)的判斷力，已成為當(dāng)前智能汽車研發(fā)領(lǐng)域最核心的課題之一。

數(shù)值精度轉(zhuǎn)換與量化技術(shù)的部署

在模型壓縮的工具中，量化技術(shù)由于其帶來的顯著性能，成為了大模型“下車”的首選手段。量化技術(shù)的核心非常簡單，就是用更低精度的數(shù)值格式來表示神經(jīng)網(wǎng)絡(luò)中的權(quán)重和激活值。

在云端訓(xùn)練階段，為了保證梯度下降的平滑和計(jì)算的準(zhǔn)確性，會(huì)使用32位浮點(diǎn)數(shù)（FP32）進(jìn)行運(yùn)算，這相當(dāng)于為每一個(gè)參數(shù)提供了一個(gè)極其精細(xì)的刻度尺。而在實(shí)際的駕駛決策中，并不需要這種冗余的精度，就像在日常生活中測量身高不需要精確到微米一樣。

通過將32位浮點(diǎn)數(shù)轉(zhuǎn)化為8位整數(shù)（INT8）甚至是4位整數(shù)（INT4），模型的存儲(chǔ)占用可以直接縮減到原來的四分之一甚至更少，同時(shí)計(jì)算吞吐量也能獲得數(shù)倍的提升。

這種精度上的妥協(xié)并不是沒有代價(jià)，數(shù)值表示范圍的縮小不可避免地會(huì)引入舍入誤差。這種誤差如果在層層疊加后被放大，就會(huì)導(dǎo)致模型在識別微小障礙物或判斷遠(yuǎn)端車距時(shí)出現(xiàn)嚴(yán)重的偏差。

圖片源自：網(wǎng)絡(luò)

對此可采用量化感知訓(xùn)練和后量化校準(zhǔn)兩種策略來應(yīng)對這一挑戰(zhàn)。

量化感知訓(xùn)練是在模型微調(diào)階段就引入模擬量化的噪聲，讓模型提前適應(yīng)“模糊”的參數(shù)表示，從而在訓(xùn)練過程中自主尋找抗干擾能力更強(qiáng)的權(quán)重配置。

而后量化校準(zhǔn)則是在模型訓(xùn)練完成后，通過一小段高質(zhì)量的典型駕駛數(shù)據(jù)，統(tǒng)計(jì)模型各層激活值的分布特征，動(dòng)態(tài)地調(diào)整量化的縮放因子，使有限的數(shù)值刻度能夠盡可能覆蓋最有意義的信息區(qū)間。

特別是在處理Transformer架構(gòu)中的注意力機(jī)制時(shí)，由于其數(shù)值分布存在極端離群值，如何保護(hù)這些關(guān)鍵的“少數(shù)”信息，決定了量化后模型是否依然具備強(qiáng)大的語義理解能力。

量化后的模型在硬件上的執(zhí)行邏輯也會(huì)發(fā)生根本性變化。

像是英偉達(dá)的Orin或華為的昇騰系列的車載芯片，都內(nèi)置了專門針對整數(shù)運(yùn)算加速的張量核心。這些硬件單元能夠在一個(gè)時(shí)鐘周期內(nèi)并行處理大量的低比特矩陣乘法，極大地降低了能效比。

量化不僅僅是為了減少計(jì)算量，它在緩解帶寬壓力方面同樣功不可沒。由于數(shù)據(jù)量減半或減至四分之一，顯存到計(jì)算單元之間的數(shù)據(jù)搬運(yùn)速度會(huì)變相提升，這對于受限于帶寬的Transformer類模型而言，恰是性能提升的關(guān)鍵。

在一些前沿的部署實(shí)踐中，開發(fā)者甚至?xí)捎没旌暇鹊牟呗裕丛谀Ｐ蛯雀叨让舾械念^部和尾部層保留高位寬，而在中間計(jì)算冗余度較高的部分使用極低位寬，從而在保證感知精度的前提下，壓榨出每一分硬件潛能。

神經(jīng)網(wǎng)絡(luò)剪枝與結(jié)構(gòu)精簡

如果說量化是改變數(shù)值的表達(dá)密度，那么剪枝技術(shù)則是在神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)上動(dòng)手術(shù)，移除那些對最終決策貢獻(xiàn)微乎其微的冗余連接。

深度學(xué)習(xí)模型在設(shè)計(jì)時(shí)其實(shí)存在嚴(yán)重的“過參數(shù)化”現(xiàn)象，這意味著網(wǎng)絡(luò)中大量的神經(jīng)元和連接實(shí)際上處于某種程度的冗余狀態(tài)。

剪枝的過程就像是園藝師修剪盆栽，通過識別并切斷那些不重要的分叉，讓主干獲得更多的養(yǎng)分。在自動(dòng)駕駛的語境下，這意味著可以剔除那些在感知道路邊界、識別行人等核心任務(wù)中不起作用的權(quán)重，從而顯著降低模型的運(yùn)算量和參數(shù)規(guī)模。

剪枝分為非結(jié)構(gòu)化剪枝和結(jié)構(gòu)化剪枝兩種。

圖片源自：網(wǎng)絡(luò)

非結(jié)構(gòu)化剪枝是在權(quán)重矩陣中隨機(jī)地將數(shù)值較小的參數(shù)置零，雖然這種方式能極大程度地保持模型的預(yù)測準(zhǔn)確性，但現(xiàn)代計(jì)算機(jī)體系結(jié)構(gòu)更擅長處理整塊的、連續(xù)的數(shù)據(jù)，非結(jié)構(gòu)化剪枝產(chǎn)生的稀疏矩陣在通用的硬件平臺上很難獲得實(shí)質(zhì)性的加速。

結(jié)構(gòu)化剪枝以神經(jīng)元、特征通道甚至整個(gè)層級為單位進(jìn)行裁減。如通過分析視覺編碼器中不同卷積核的重要性，可以直接關(guān)閉掉幾十個(gè)對特征提取貢獻(xiàn)較小的通道。雖然這種做法對精度的挑戰(zhàn)更大，但它帶來的硬件加速效果是立竿見影的，因?yàn)樗苯訙p少了張量運(yùn)算的維度。

在針對大模型的剪枝流程中，有些技術(shù)會(huì)采用一種迭代式的進(jìn)化策略。

如先通過大規(guī)模的數(shù)據(jù)訓(xùn)練出一個(gè)性能頂尖的冗余模型，接著利用泰勒展開或其他重要性評估指標(biāo)，識別出那些“閑置”的權(quán)重。系統(tǒng)會(huì)逐步裁撤這些部分，并在每一輪剪枝后進(jìn)行短期的恢復(fù)訓(xùn)練，利用知識蒸餾等手段，讓剩余的權(quán)重去承接被裁減部分的功能。

這種方式特別適用于具有重復(fù)結(jié)構(gòu)的Transformer模型，通過減少多頭注意力機(jī)制中的頭數(shù)，或者縮減前饋網(wǎng)絡(luò)的寬度，可以使模型在保持強(qiáng)大邏輯推理能力的同時(shí)，體積大幅縮減。

此外，針對自動(dòng)駕駛這種多任務(wù)并行的場景，剪枝還可以實(shí)現(xiàn)在不同任務(wù)間共享特征層，避免重復(fù)的感知計(jì)算，進(jìn)一步提升系統(tǒng)的整體運(yùn)行效率。

知識蒸餾與多維框架下的能力遷移

除了在現(xiàn)有模型上做減法，知識蒸餾技術(shù)提供了一種從零開始構(gòu)建高效“學(xué)生”模型的新途徑。

知識蒸餾的核心是讓一個(gè)小規(guī)模的輕量化模型去模仿一個(gè)龐大的教師模型的行為。在大模型的語境下，部署在云端的高參數(shù)模型擁有極其深邃的特征提取能力和應(yīng)對復(fù)雜長尾場景的“直覺”。

知識蒸餾并不是簡單地讓學(xué)生模型去學(xué)習(xí)教師模型的最終輸出結(jié)果，而是讓它去模仿教師模型在中間層產(chǎn)生的概率分布和特征響應(yīng)。這種被稱為“軟知識”的信息包含了教師模型對不同類別的關(guān)聯(lián)性判斷。

如它不僅告訴學(xué)生“這是一個(gè)行人”，還會(huì)告訴學(xué)生“這個(gè)物體在視覺特征上與騎行者有一定的相似度”，這種豐富的語義聯(lián)系極大地加速了輕量化模型的學(xué)習(xí)過程。

圖片源自：網(wǎng)絡(luò)

在自動(dòng)駕駛的端到端大模型部署中，知識蒸餾的應(yīng)用已經(jīng)深入到了邏輯推理層面。云端大模型可以作為一個(gè)強(qiáng)大的監(jiān)管者，在訓(xùn)練過程中為車端的小模型提供高質(zhì)量的引導(dǎo)信號。

如在處理復(fù)雜的十字路口場景時(shí)，教師模型可以通過注意力圖譜告訴學(xué)生模型，哪些區(qū)域的動(dòng)態(tài)障礙物是影響決策的關(guān)鍵因素。學(xué)生模型雖然參數(shù)量只有教師模型的幾分之一，但由于它站在了巨人的肩膀上，能夠?qū)Ｗ⒂趯W(xué)習(xí)那些最關(guān)鍵的特征表達(dá)。

這種跨層級的能力遷移，使得幾十層規(guī)模的模型能夠展現(xiàn)出原本需要幾百層才能達(dá)到的泛化水平，這對于在功耗受限的車載算力平臺上實(shí)現(xiàn)高階智駕功能至關(guān)重要。

此外，知識蒸餾在處理長尾數(shù)據(jù)時(shí)也表現(xiàn)出獨(dú)特的優(yōu)勢。自動(dòng)駕駛中的許多極端場景在訓(xùn)練集中出現(xiàn)的概率極低。單憑小模型自身很難從海量噪聲中提取出這些微弱的信號，而大模型由于在預(yù)訓(xùn)練階段接觸過更為寬廣的知識庫，其預(yù)測結(jié)果中蘊(yùn)含了對這些異常情況的識別能力。

通過蒸餾，這種能力被“固化”到了車端模型的權(quán)重中，從而顯著提升了車輛在面對突發(fā)狀況時(shí)的安全性。此外，這種技術(shù)還可以與模型剪枝結(jié)合使用，在剪枝后的精簡結(jié)構(gòu)中通過蒸餾快速找回丟失的性能，形成一種閉環(huán)的壓縮優(yōu)化體系。

軟硬件協(xié)同優(yōu)化與車載計(jì)算架構(gòu)的適配

大模型能否在車端跑得穩(wěn)、跑得快，除了取決于壓縮算法，更取決于算法與底層硬件架構(gòu)的配合默契程度。

傳統(tǒng)的車載計(jì)算平臺設(shè)計(jì)之初是為了應(yīng)對卷積神經(jīng)網(wǎng)絡(luò)（CNN）的，其內(nèi)存層次結(jié)構(gòu)和計(jì)算單元的排列方式在處理大模型的Transformer算子時(shí)效率較低。Transformer模型中特有的多頭注意力機(jī)制涉及到大量的矩陣轉(zhuǎn)置和非連續(xù)內(nèi)存訪問，這在傳統(tǒng)的總線架構(gòu)下會(huì)造成嚴(yán)重的通訊阻塞。

為了解決這一痛點(diǎn)，諸如地平線的征程6系列的車載芯片，就專門引入了“納什架構(gòu)”，通過增加片上緩存、優(yōu)化數(shù)據(jù)流動(dòng)路徑以及設(shè)計(jì)專用的Transformer加速引擎，實(shí)現(xiàn)了硬件級的效率跨越。

圖片源自：網(wǎng)絡(luò)

在這種軟硬件協(xié)同的視角下，模型壓縮不再是一個(gè)孤立的算法步驟，而是一個(gè)面向硬件特征的定制過程。

英偉達(dá)的TensorRT編譯器可以針對特定的Orin平臺，自動(dòng)地將模型中的多個(gè)算子進(jìn)行融合。原本需要分多次從顯存讀寫的操作，在融合后可以一次性在寄存器中完成計(jì)算，這極大程度地降低了數(shù)據(jù)搬運(yùn)的開銷。

同時(shí)，編譯器還會(huì)根據(jù)硬件的指令周期，動(dòng)態(tài)調(diào)整量化后的位寬分布，確保計(jì)算資源被分配到最能產(chǎn)生增益的任務(wù)上。

此外，針對大模型參數(shù)量巨大的特點(diǎn)，車載系統(tǒng)開始采用統(tǒng)一內(nèi)存架構(gòu)（Unified Memory），讓感知、預(yù)測和規(guī)控模塊能夠直接共享同一塊顯存區(qū)域，避免了昂貴的跨模塊內(nèi)存拷貝。

軟硬件協(xié)同的另一個(gè)重要優(yōu)勢是實(shí)時(shí)性保障。

在大模型部署中，由于注意力機(jī)制的計(jì)算復(fù)雜度與輸入序列長度的平方成正比，當(dāng)傳感器數(shù)量增加或視野范圍擴(kuò)大時(shí)，計(jì)算量會(huì)呈指數(shù)級增長。為了防止計(jì)算任務(wù)在高峰期“塞車”，車載操作系統(tǒng)會(huì)引入確定性的調(diào)度策略。

通過在硬件層面劃分不同的優(yōu)先級區(qū)域，確保那些涉及緊急剎車或避障的核心規(guī)控任務(wù)擁有絕對的計(jì)算首發(fā)權(quán)，而一些背景類的地圖優(yōu)化或非關(guān)鍵感知任務(wù)則在算力富余時(shí)運(yùn)行。

這種精細(xì)化的資源管控，結(jié)合壓縮后的輕量化模型，才真正構(gòu)成了能夠大規(guī)模量產(chǎn)的車載智能駕駛大腦。

安全性驗(yàn)證與壓縮模型的長尾表現(xiàn)

在追求極致性能提升的同時(shí)，自動(dòng)駕駛系統(tǒng)的安全性底線是不容逾越的。

模型壓縮過程中的每一步操作，都必須經(jīng)過嚴(yán)苛的安全性驗(yàn)證。如平均精度（mAP）這類傳統(tǒng)的算法指標(biāo)雖然能反映模型的整體水平，但在自動(dòng)駕駛領(lǐng)域，更應(yīng)關(guān)注模型在“最壞情況”下的表現(xiàn)。

一個(gè)壓縮后的模型如果平時(shí)表現(xiàn)優(yōu)秀，但在遇到強(qiáng)光直射或隧道出口突變光線時(shí)突然失效，那這種壓縮就是失敗的。

因此，在模型壓縮的后期階段，會(huì)引入一系列針對安全性的專門測試，如在仿真環(huán)境中的閉環(huán)測試，以及針對碰撞風(fēng)險(xiǎn)、軌跡平穩(wěn)度等核心安全指標(biāo)的魯棒性評估。

圖片源自：網(wǎng)絡(luò)

為了確保壓縮模型在復(fù)雜駕駛場景中的可靠性，還發(fā)展出了一套完整的“數(shù)據(jù)飛輪”驗(yàn)證體系。

在模型下車之前，可利用云端采集的海量高質(zhì)量駕駛視頻，針對每一個(gè)被壓縮的版本進(jìn)行“影子模式”下的回放測試。通過對比原始大模型與壓縮后模型的決策差異，系統(tǒng)可以自動(dòng)定位出那些因?yàn)閴嚎s而導(dǎo)致識別能力退化的特定場景。

隨后，針對性地補(bǔ)充相關(guān)場景的訓(xùn)練數(shù)據(jù)，對壓縮后的模型進(jìn)行局部的微調(diào)。這種“壓縮-驗(yàn)證-補(bǔ)強(qiáng)”的循環(huán)過程，確保了模型即便是在由于量化或剪枝而丟失部分參數(shù)的情況下，依然能牢牢記住那些關(guān)乎生命安全的關(guān)鍵駕駛知識。

最后的話

將自動(dòng)駕駛大模型的龐大能力壓縮到適合車端部署的形態(tài)，不僅推動(dòng)了車載計(jì)算技術(shù)的飛躍，也為實(shí)現(xiàn)真正無人干預(yù)的安全出行奠定了堅(jiān)實(shí)的技術(shù)基礎(chǔ)。在未來的道路上，更輕盈、更強(qiáng)大、更安全的自動(dòng)駕駛模型，將成為自動(dòng)駕駛落地的關(guān)鍵技術(shù)手段。

審核編輯 黃宇