智能網(wǎng)聯(lián)加速智能座艙技術(shù)發(fā)展

智能網(wǎng)聯(lián)是汽車行業(yè)發(fā)展最重要的趨勢之一，包括自動(dòng)駕駛和車聯(lián)網(wǎng)兩個(gè)主流方向。各國政府包括中國政府在內(nèi)，都在積極地制定智能網(wǎng)聯(lián)技術(shù)路線并不斷完善本國的智能網(wǎng)聯(lián)標(biāo)準(zhǔn)體系。不可否認(rèn)，智能網(wǎng)聯(lián)技術(shù)及其標(biāo)準(zhǔn)體系都將對汽車座艙發(fā)展產(chǎn)生深遠(yuǎn)的影響。

首先，我們來看以艙外感知為基礎(chǔ)的駕駛輔助，從奧迪 Piloted Driving 系統(tǒng)到特斯拉 AutoPilot 系統(tǒng)，都為汽車座艙提供了新的思路和方向。例如，增加了大量的道路路面顯示內(nèi)容和對駕駛員的監(jiān)測提醒。同時(shí)，在智能網(wǎng)聯(lián)技術(shù)驅(qū)動(dòng)下，汽車座艙領(lǐng)域也產(chǎn)生了許多新技術(shù)和應(yīng)用，例如,基于視覺骨架提取技術(shù)的手勢識別交互，基于雷達(dá)探測的手勢識別，智能語音識別與交互，增強(qiáng)現(xiàn)實(shí)（AR）HUD 等等。

其次，全球 OEM 也都在積極為智能座艙集聚力量，不斷在概念車上增加智能化新功能。例如，奧迪的情緒感知 LED 燈，豐田的駕駛員監(jiān)控系統(tǒng)，奔馳的手勢、眼球追蹤和觸屏互動(dòng)功能等等。同時(shí)，各汽車零部件供應(yīng)商和半導(dǎo)體廠商也也在積極準(zhǔn)備，比如，博世成立了汽車未來駕艙技術(shù)中心，來推動(dòng)智能座艙發(fā)展。

智能座艙演進(jìn)的四大階段

在此，我們預(yù)測一下汽車座艙的發(fā)展趨勢。我們認(rèn)為汽車座艙會經(jīng)歷傳統(tǒng)座艙、信息座艙、智能座艙和無人駕駛座艙4個(gè)發(fā)展階段。目前，汽車處于信息座艙階段，在輔助駕駛和智能化功能加載后，會逐漸轉(zhuǎn)入到智能座艙階段，最終實(shí)現(xiàn)無人駕駛座艙。到那個(gè)時(shí)候，整個(gè)汽車座艙將會發(fā)生非常大的變化，人車環(huán)境將深度融合，座艙將會具備智能自我提升能力。

信息座艙，也是當(dāng)前消費(fèi)者接觸最多的座艙形式。相對于傳統(tǒng)座艙，其艙內(nèi)信息內(nèi)容開始豐富，智能化能力初步顯現(xiàn)。但是，它呈現(xiàn)的內(nèi)容基本集中在車身狀態(tài)信息、影音娛樂系統(tǒng)以及初級車聯(lián)網(wǎng)信息，且展現(xiàn)的智能化能力也比較弱，用戶體驗(yàn)不是很好。與信息座艙相比，智能座艙的信息感知融合能力大大增強(qiáng)，信息來源將更加豐富，除了車身本體信息和 T-Box 的網(wǎng)絡(luò)信息，還會增加來自于駕駛員和乘客感知信息，以及來自于 V2X 的車外環(huán)境信息等等。這些信息感知會更加隱性，提供的功能也會更加智能。

智能座艙開發(fā)的技術(shù)挑戰(zhàn)

智能座艙之所以會遇到技術(shù)挑戰(zhàn)，是因?yàn)橄鄬τ趥鹘y(tǒng)座艙和信息座艙，它需要大量新技術(shù)，尤其是 AI 技術(shù)支持。比如，對于年齡性別檢測，在現(xiàn)實(shí)生活中，年齡對一個(gè)人來講，有時(shí)候也很難判斷，那么，對于 AI ，相對精準(zhǔn)的年齡識別可能會更難。對于疲勞檢測，疲勞因種族、年齡和個(gè)人的身體狀況不同都會表現(xiàn)出非常大的差異，目前全世界對疲勞的定義和疲勞檢測都還不統(tǒng)一。對于情緒識別，穩(wěn)定精準(zhǔn)的情緒識別也是一個(gè)很的挑戰(zhàn)，不同人的情緒存在著差異，不同文化、不同種族表現(xiàn)出來的情緒也有很大的區(qū)別。

不僅如此，智能座艙，除了要服務(wù)駕駛員，還要服務(wù)副駕和后排乘客，甚至物品（遺留），所以其服務(wù)的對象的廣度也是傳統(tǒng)座艙和信息座艙無法比擬的。

上述需求具體來說有哪些技術(shù)挑戰(zhàn)呢？

從圖像識別來看，就需要身份識別、狀態(tài)識別、行為識別、乘員識別這些功能；從語音識別來看，它需要語音控制、情感交互和聲紋識別。如何去實(shí)現(xiàn)這些功能？對于狀態(tài)識別，我們需要監(jiān)測駕駛員頭部姿態(tài)，眼部狀態(tài)，嘴部狀態(tài)，情緒狀態(tài)。而識別這些狀態(tài)又需要進(jìn)一步的細(xì)節(jié)化的特征監(jiān)測，要對頻率特征、角度特征進(jìn)行進(jìn)一步識別。例如，我們可以通過感知眼睛的眨眼頻率來識別眼部狀態(tài)，進(jìn)而感知一些隱性信息。

所以，我們可以看到，圖像和語音識別需要AI提供大量細(xì)節(jié)化的精準(zhǔn)感知信息，而這些信息感知又會受到算力、客觀環(huán)境、人的姿態(tài)、配飾遮擋、假體攻擊和傳感器協(xié)同等多個(gè)因素限制，需要多種工程技術(shù)相互協(xié)同，這為智能座艙帶來了非常大的挑戰(zhàn)。汽車是一個(gè)大規(guī)模生產(chǎn)制造的產(chǎn)品，座艙智能化容易受到有限算力（廣義上還包括內(nèi)存/Flash）的約束。如何在有限的算力、有限的內(nèi)存，有限的 Flash 上實(shí)現(xiàn)準(zhǔn)確可靠的AI功能，成本和性能的考驗(yàn)非常大。

對于客觀環(huán)境，夜晚、順光、逆光等復(fù)雜環(huán)境會造成圖像過曝、過暗，清晰度、對比度不足等光學(xué)和圖像問題；智能座艙需要克服上述困難，實(shí)現(xiàn)駕駛員精準(zhǔn)感知，也是挑戰(zhàn)重重。

同時(shí)，多傳感器融合對智能座艙，也是一個(gè)較大的挑戰(zhàn)。當(dāng)前，很多智能座艙會配備智能語音系統(tǒng)和圖像識別系統(tǒng)，但是更多的是以單模態(tài)的形式工作，與駕乘人員單獨(dú)交互，座艙智能化能力有待提高。例如，以智能語音系統(tǒng)為例，語音系統(tǒng)會受到各種噪聲的影響，如車內(nèi)的娛樂系統(tǒng)，艙外的風(fēng)噪和胎噪等，都會對其產(chǎn)生干擾，語音系統(tǒng)被干擾激活后，就可能會產(chǎn)生錯(cuò)誤推送。如果遇到駕駛員心情不好，給他推送了一首非常不適合的歌曲，就會導(dǎo)致用戶體驗(yàn)進(jìn)一步的惡化；對于圖像識別系統(tǒng)，反之亦然。

CPU， GPU，FPGA， SoC，誰更適合智能座艙？

對于上述挑戰(zhàn)，目前比較有效的關(guān)鍵技術(shù)和解決方案之一還是嵌入式的 AI 技術(shù)和構(gòu)建在嵌入式 AI 技術(shù)之上的解決方案，尤其深度學(xué)習(xí)技術(shù)，它是智能座艙內(nèi)智能化的應(yīng)用具有魯棒性和相當(dāng)強(qiáng)泛化能力的重要保障。除了 AI 技術(shù)以外，座艙還需要多傳感器的融合技術(shù)，如 Camera 和 TOF 傳感器融合去對抗假體攻擊，語音系統(tǒng)與圖像系統(tǒng)的融合彌補(bǔ)單模交互和單模 AI 感知的缺陷。

那我們先看一下嵌入式 AI 的主流開發(fā)過程。

以硬件芯片（計(jì)算資源）是否可編程可重構(gòu)為標(biāo)準(zhǔn)，大致分為兩類，一類是 GPU、CPU 和通用的 SoC，它的硬件可編程能力比較弱；而另一類是 FPGA ，則具備比較強(qiáng)的硬件可編程能力，這是它們的主要差別。但是，在整個(gè) AI 的開發(fā)過程當(dāng)中，它們都需要完成浮點(diǎn)型的模型訓(xùn)練、模型壓縮、定點(diǎn)化，進(jìn)而生成AI模型和具體的 AI 應(yīng)用。對于 GPU、CPU 和 SoC，用戶可獨(dú)立開發(fā)或者是借助半導(dǎo)體廠商提供的 AI 引擎，來加速或者簡化開發(fā)過程。例如，高通、安霸，他們都提供了一些便于用戶使用的 AI 開發(fā)工具，在許多 SoC 里面，也有相應(yīng)的 AI 加速引擎。

FPGA 相對于 GPU 和 CPU 來講，效率會有一定的優(yōu)勢，性價(jià)比也更高。因?yàn)镕PGA 內(nèi)部的 PL 部分能提供非常靈活的硬件可編程可重構(gòu)能力，對于AI網(wǎng)絡(luò)會有更好的適配性。例如，F(xiàn)PGA 和 SoC（SoC就是指含有AI加速引擎的）相比，F(xiàn)PGA 在超低比特的量化，例如1比特或2比特方面會有非常強(qiáng)的優(yōu)勢；而對于SoC，可能當(dāng)前主流的量化主要集中在8 比特，它最底層計(jì)算單元可能是浮點(diǎn)型或者是長比特定點(diǎn)型，很難去支撐1比特或者是2比特的量化，效率不高。

從剪枝層面來講，不管是對稱剪枝還是非對稱剪枝，規(guī)則剪枝還是非規(guī)則剪枝，兩類器件可能會表現(xiàn)出類似的性能。而對新型網(wǎng)絡(luò)的支持，F(xiàn)PGA 會具有更強(qiáng)的優(yōu)勢。大家都知道，芯片從流片到上市應(yīng)用需要一個(gè)非常長期的開發(fā)過程，硬件可編程可重構(gòu)能力弱的芯片很難匹配新型AI網(wǎng)絡(luò)的快速發(fā)展，存在一定的代差。

FPGA 如何解決智能座艙技術(shù)挑戰(zhàn)？

自行科技在 FPGA 開發(fā)積累了豐富的經(jīng)驗(yàn)，我們會把深度學(xué)習(xí)的底層網(wǎng)絡(luò)模塊化，通過 CNN 網(wǎng)絡(luò)結(jié)構(gòu)解釋器，快速支持新型AI網(wǎng)絡(luò)模型。同時(shí)，在 FPGA 內(nèi)部做了大量的并行優(yōu)化，最終實(shí)現(xiàn)小芯片大網(wǎng)絡(luò)的計(jì)算效能。這就為智能座艙眾多 AI 技術(shù)應(yīng)用需要的海量運(yùn)算，提供了低成本和低功耗的可能。

智能座艙的快速發(fā)展，要求我們必須具備完整的 AI（深度學(xué)習(xí)）開發(fā)工具鏈，才能快速滿足各種智能化的需求。從算法層、軟件層到硬件層，自行科技開發(fā)了非常多的工具，去實(shí)現(xiàn)或加速整個(gè) AI 的開發(fā)過程，目前主要是操作系統(tǒng)等，自行科技是借助第三方，其他的我們都是自己去開發(fā)，因此形成了一套高效的開發(fā)流程。

對于智能座艙解決方案，艙內(nèi)多傳感器融合是智能座艙非常重要的一個(gè)支點(diǎn)，前面我也提到，最需要融合的就是聽覺和視覺。對于智能座艙，聽覺傳感器和視覺傳感器成本較低，相對可靠，具備大規(guī)模量產(chǎn)的可能性。而觸覺和生物智能感知傳感器，在汽車上大量應(yīng)用裝配可能還需要更長時(shí)間。對于語音和圖像，融合需要貫穿整個(gè)語音和圖像的處理流程中來。喚醒、識別、語義、TTS 和業(yè)務(wù)，這是智能語音的主要的處理過程，每個(gè)過程都可能和圖像感知的某一個(gè)功能形成交互，提升感知置信度和準(zhǔn)確度，最終從整體上提高智能座艙服務(wù)能力和質(zhì)量。

例如，在做語義解析時(shí)，我們需要考慮當(dāng)前駕駛員或乘員的狀態(tài)，甚至習(xí)慣；向其推送業(yè)務(wù)或進(jìn)行智能交互時(shí)，需要考慮他的性格，表情，甚至身份，這種深度的圖像和語音融合，對于未來智能座艙發(fā)展將會起到至關(guān)重要的作用。

這是我們開發(fā)的一個(gè)聽覺和視覺融合的模型，它遵循語音和圖像自然處理的過程。例如，語音經(jīng)常會因車外的胎躁和風(fēng)噪產(chǎn)生誤喚醒和誤觸發(fā)，給客戶帶來不好的體驗(yàn)。當(dāng)語音喚醒被觸發(fā)后，我們可以考慮通過圖像人臉檢測技術(shù)來檢測是否有人臉？分析其觸發(fā)是駕駛員觸發(fā)，還是副駕或后排乘客觸發(fā)？甚至還可結(jié)合駕乘人員的分布情況。在識別到駕駛員或乘員語音時(shí)，我們會要求同步圖像檢測結(jié)果，包括嘴部檢測、眼部檢測、頭部檢測，甚至對視線檢測等。在進(jìn)行智能人機(jī)交互時(shí)，我們會結(jié)合當(dāng)前駕乘人員的情緒狀態(tài)、行為狀態(tài)、性別等來判斷其心理狀態(tài)和情景，以便做出更合適的智能交互。這種多模態(tài)交互，勢必會比單模態(tài)交互，給駕乘人員帶來更好的體驗(yàn)。

但是，聽覺視覺融合難度和復(fù)雜度也不小，除了策略問題，還表現(xiàn)在同步問題。如果你在錯(cuò)誤的時(shí)間，錯(cuò)誤的語境下面去提取的另一種傳感器的結(jié)果，反而可能會造成更不好的結(jié)果。所以，多傳感器的融合，關(guān)鍵在于數(shù)據(jù)采集同步和后續(xù)的AI處理同步。

同步模型最關(guān)鍵的問題就是時(shí)序問題。我們需要去準(zhǔn)確控制每個(gè)傳感器的識別過程、模塊處理時(shí)長，讓兩種傳感器相應(yīng)的模塊得最佳匹配。這一方面需要算力的支持，也需要控制邏輯的支持，從這個(gè)角度來看，F(xiàn)PGA 和非 FPGA 器件同步方面存在的一定的差異。因?yàn)橛杏布删幊滩糠郑現(xiàn)PGA 的基礎(chǔ)數(shù)據(jù)采集同步精度會更高，AI 處理的同步性也會更高。AI 處理過程中的每一個(gè)任務(wù)、子任務(wù)、子模塊，例如人臉檢測、特征點(diǎn)抽取、頭部狀態(tài)檢測，都能被精確地控制和調(diào)度。

非 FPGA 器件，因?yàn)榇嬖谥僮飨到y(tǒng)，哪怕是實(shí)時(shí)操作系統(tǒng)，也會對 AI 的處理過程的控制精度造成影響，導(dǎo)致 AI 處理流程對操作系統(tǒng)依賴度比較大。當(dāng)然這也不是說這類器件不能解決 AI 的處理同步性問題，只是說在大數(shù)據(jù)量、大 AI 算法或者大AI 任務(wù)面前，F(xiàn)PGA 的服務(wù)性會可能更好一些。因?yàn)殡S著傳感器的增加，隨著每一種傳感器采集的數(shù)據(jù)量和處理需要算力的增加，那么它們會受到不同調(diào)度任務(wù)、不同區(qū)域、不同進(jìn)程之間的沖突和競爭，導(dǎo)致時(shí)間可控性難度增大，而 FPGA的時(shí)序控制性會更好。

智能座艙及ADAS 方案與案例

目前，自行科技 DMS 產(chǎn)品在宇通客車已經(jīng)前裝量產(chǎn)，而且在宇通客車上還提供了人臉開車門（Face-ID）的智能化功能；在卡車領(lǐng)域，公司今年會率先在重卡上量產(chǎn)DMS （Driver Monitor System，），現(xiàn)在也在積極與北美 ACS 公司聯(lián)合開發(fā)DMS和ADAS。在乘用車方面，我們是 Bosch 中國的 DMS 軟件合作商；在日本市場，公司是豐田通商的戰(zhàn)略合作伙伴，同時(shí)，公司與科大訊飛合作完成了多模態(tài)智能座艙的開發(fā)，在芯片和 IP 層面，我們也跟紫光和 Xilinx 深度合作，向他們提供 AI 的 IP 。在去年年底，廣汽資本戰(zhàn)略投資了自行科技，這也將促進(jìn)自行在未來的快速發(fā)展。

同時(shí)，自行科技是中國國家 DMS 標(biāo)準(zhǔn)制定成員單位，這個(gè)國標(biāo)將對智能座艙（乘用車與商用車）產(chǎn)生重要影響，最快2021年將會發(fā)布。對于商用車智能座艙，主要功能包括標(biāo)準(zhǔn)的 DMS 和 Face-ID；而在乘用車?yán)锩?，除?DMS 和 Face-ID以外，還需要 OMS 以及相應(yīng)的手勢識別等功能。這是我們針對乘用車智能座艙開發(fā)的功能：左上角是一個(gè)比較全面的 DMS 功能，包含了駕駛員疲勞檢測，身份識別，視線追蹤、注意力檢測和情緒識別，左下角是一個(gè)基于乘員狀態(tài)檢測功能，包括后排兒童遺留提醒以及駕乘人員分布情況分析。右側(cè)4個(gè)應(yīng)用主要展示乘用車的手勢識別和姿態(tài)識別功能，例如，點(diǎn)頭搖頭，結(jié)合座艙娛樂系統(tǒng)與語音系統(tǒng)對“噓”動(dòng)作的識別，以及大面積遮擋下（墨鏡口罩）的表現(xiàn)。這個(gè)是智能座艙關(guān)于人臉識別和假體攻擊驗(yàn)證 demo。對于活體檢測，如果是真正的活體，檢測結(jié)果是一個(gè)綠框；如果用照片去欺騙車內(nèi)視覺系統(tǒng)，那就會被檢測出一個(gè)紅框。

自行科技除了提供智能座艙，還會提供相應(yīng)的 ADAS 功能。我們支持 L0-L2+的道路感知功能，例如，基于 L0-L1的車輛/行人/車道線的預(yù)警功能以及 LKA/AEB等主動(dòng)干預(yù)功能。這是綜合場景下的行人檢測、車輛檢測以及道路目標(biāo)的檢測。這是支持 L2+ADAS 應(yīng)用（例如 TJA、HWA 等）的感知融合技術(shù)，在夜晚的實(shí)際場景下我們實(shí)現(xiàn)了道路目標(biāo)（車輛和行人）的識別，實(shí)現(xiàn)了基于道路目標(biāo)的語義分割，同時(shí)基于單目視覺技術(shù)提取了圖像的深度信息，并且做了視覺里程計(jì)。

這些功能在不同的場景下都有獨(dú)特的應(yīng)用，在不同的工況下都會產(chǎn)生獨(dú)特的價(jià)值。例如，在夜晚，光線光照度會受到影響，精準(zhǔn)的視覺目標(biāo)檢測有一定的困難，因此，需要基于一個(gè)更大計(jì)算量的AI網(wǎng)絡(luò)去做語義分割。當(dāng)然，即使基于目標(biāo)檢測和語義分割，也很難穩(wěn)定地對道路上所有目標(biāo)進(jìn)行全工況的精準(zhǔn)感知。此時(shí)，單目視覺深度信息提取，就是一個(gè)很好的補(bǔ)充措施。無論是否曾經(jīng)被訓(xùn)練過，是否被語義分割網(wǎng)絡(luò)分割過，它都能通過目標(biāo)的深度視覺信息，對 L2+功能進(jìn)行可靠地避障，或者是可靠地主動(dòng)干預(yù)提供感知支持。當(dāng)然這個(gè)視覺信息還是要跟其他傳感器，例如毫米波雷達(dá)、激光雷達(dá)做進(jìn)一步的融合。視覺里程計(jì)也能對車輛的姿態(tài)進(jìn)行預(yù)測，不管是前車還是本車，亦或是對道路趨勢的判斷。它大大增強(qiáng)了對道路目標(biāo)的感知能力。

除此之外，我們也把前向 ADAS 技術(shù)用在了側(cè)向，例如，視覺 BSD 功能。目前在這類功能在商用車領(lǐng)域發(fā)展很快。

結(jié) 語

未來智能座艙的應(yīng)用將是多模態(tài)感知和多模態(tài)的交互，而且首先需要實(shí)現(xiàn)的是視覺、聽覺的感知融合和交互融合，最終實(shí)現(xiàn)擬人化的感知和擬人化的交互。未來智能座艙將會集成 ADAS、IoT 和 V2X 等新興技術(shù)，是整車實(shí)現(xiàn)信息化、安全化、智能化和舒適化的重要部件。智能座艙的演進(jìn)和發(fā)展，必將以 AI 技術(shù)為驅(qū)動(dòng)力，汽車座艙必將成為一個(gè)更加智能的人類活動(dòng)空間。