作者：Alone

一、各傳感器的優(yōu)劣勢(shì)

1.激光雷達(dá)：優(yōu)點(diǎn)：一般情況下精度準(zhǔn)確、360度的感知范圍、3維數(shù)據(jù)（相對(duì)于相機(jī)具有深度信息）缺點(diǎn)：成本高昂、數(shù)據(jù)量大、無(wú)序且稀疏（對(duì)于單個(gè)物體而言，其數(shù)據(jù)點(diǎn)更少，類似于一張具有深度信息低分辨率的廣角照片）

2.相機(jī)優(yōu)點(diǎn)：紋理細(xì)節(jié)豐富、成本低廉缺點(diǎn)：易受光照影響、沒有深度信息

3.毫米波雷達(dá)：優(yōu)點(diǎn)：在特殊場(chǎng)景下（雨霧天氣）相對(duì)Lidar抗干擾能力強(qiáng)；基于多普勒效應(yīng)的探測(cè)原理能捕捉到一定運(yùn)動(dòng)信息；長(zhǎng)波長(zhǎng)（毫米波）能夠檢測(cè)到一些corner場(chǎng)景下的目標(biāo)缺點(diǎn)：精度較低（以點(diǎn)云表達(dá)后，數(shù)據(jù)稀疏且高度信息費(fèi)城不準(zhǔn)；對(duì)相對(duì)靜止的物體檢測(cè)效果差，并非所有靜止物體

4.紅外相機(jī)：夜視場(chǎng)景，是優(yōu)點(diǎn)也是局限二、解決方案沒有詳細(xì)調(diào)研過(guò)各企業(yè)最終落地的傳感器配置方案，但看過(guò)不少waymo、百度、nvidia多傳感器融合的研究，所以更多地從理論和技術(shù)角度分析一下各種解決方案。

1.激光雷達(dá)+相機(jī)

當(dāng)前主流的多傳感器融合方案，采用相機(jī)和激光雷達(dá)相互的方式進(jìn)行3D檢測(cè)。將圖像數(shù)據(jù)和點(diǎn)云統(tǒng)一坐標(biāo)系后，結(jié)合圖像提供的豐富的物體紋理信息和點(diǎn)云提供的幾何結(jié)構(gòu)信息有助于分類任務(wù)；點(diǎn)云提供的精確3維信息以及物體在物理世界自然分離的特點(diǎn)有助于改善圖像中目標(biāo)相互重疊的情況，從而更精準(zhǔn)地進(jìn)行目標(biāo)檢測(cè)。一些經(jīng)典的方法比如MV3D、Frustum Pointnet以及同作者出的ImVotenet等，隨便一篇融合的論文的related work都會(huì)有較詳?shù)木C述，在這就不多重復(fù)了。

目前對(duì)于此類融合的算法研究較多，理論研究短期內(nèi)很難有較大創(chuàng)新，但在工程實(shí)踐中兩種傳感器相互輔助的方式可以更加多樣化，且必須在考慮算力的前提下，結(jié)合不同的場(chǎng)景自適應(yīng)地調(diào)整對(duì)不同數(shù)據(jù)源及特征置信度可能才能真正發(fā)揮激光雷達(dá)和相機(jī)融合的作用。

2.毫米波雷達(dá)+相機(jī)

若采用點(diǎn)云形式表達(dá)毫米波數(shù)據(jù)，那其實(shí)和Lidar和RGB融合原理相差不大，但效果會(huì)更差。另外，毫米波雷達(dá)還有range-doppler-azimuth（就是極坐標(biāo)系下距離、角度以及多普勒特征）數(shù)據(jù)形式，經(jīng)過(guò)一些數(shù)據(jù)處理后其實(shí)和image張量形式相差不大，因此可以采用傳統(tǒng)CNN方法進(jìn)行融合提取。關(guān)于毫米波雷達(dá)的多普勒特征可以算一個(gè)小的研究課題，有研究表明，多普勒效應(yīng)能夠捕捉到物體內(nèi)部組件的振動(dòng)特征，且毫米波雷達(dá)檢測(cè)到的目標(biāo)速度信息也是基于此原理。但自動(dòng)駕駛對(duì)此研究并不多，工業(yè)應(yīng)用就更少了。

個(gè)人認(rèn)為微多普勒特征的應(yīng)用雖有理論支持，但在自動(dòng)駕駛復(fù)雜場(chǎng)景以及對(duì)安全的高要求下，其性能表現(xiàn)并不穩(wěn)定和魯棒，因此沒有得到廣泛應(yīng)用。另外，在4D radar實(shí)現(xiàn)技術(shù)突破能夠量產(chǎn)以后，這種特別的特征在自動(dòng)駕駛場(chǎng)景也許只是錦上添花。這篇研究［1］則采用這種新的表征形式來(lái)融合radar和image的特征，結(jié)合模仿學(xué)習(xí)的理念進(jìn)行radar檢測(cè)。

圖1

3.毫米波雷達(dá)+激光雷達(dá)

這篇研究［2］是2020CVPR的一篇文章，研究指出：在霧天場(chǎng)景下，Lidar點(diǎn)云會(huì)受到很大干擾，增加很多噪點(diǎn)；而radar的生成的點(diǎn)云雖然稀疏，但幾乎不受霧的干擾，因此采用此融合方式可以改善在霧天場(chǎng)景下的3D檢測(cè)表現(xiàn)。圖2為該研究主要框架。

圖2

4.RGB相機(jī)+紅外相機(jī)：主要用于夜視場(chǎng)景的檢測(cè)由于應(yīng)用場(chǎng)景有限，目前更多的是用于學(xué)術(shù)界的理論研究。但如果真的要實(shí)現(xiàn)全天候的自動(dòng)駕駛，可能終究跨不過(guò)類似夜視的長(zhǎng)尾場(chǎng)景，只是目前還沒發(fā)展到那個(gè)階段而已。

總結(jié)來(lái)看針對(duì)工業(yè)界目前近幾年L3+的目標(biāo)，除特斯拉能依靠大規(guī)模真實(shí)駕駛數(shù)據(jù)來(lái)實(shí)現(xiàn)純視覺的自動(dòng)駕駛方案以外，其他造車新勢(shì)力無(wú)不加持了激光雷達(dá)，同時(shí)結(jié)合多攝像頭實(shí)現(xiàn)感知功能。radar和超聲傳感器等基本已是現(xiàn)代汽車的標(biāo)配，只是如何使用的問(wèn)題。單說(shuō)傳感器的配置方案，可能激光雷達(dá)+相機(jī)將會(huì)是主流（除特斯拉）。但更加具體和成熟的解決方案必須結(jié)合自動(dòng)駕駛的基礎(chǔ)系統(tǒng)來(lái)實(shí)現(xiàn)，并基于一定的機(jī)制來(lái)自適應(yīng)調(diào)整從而靈活應(yīng)用各傳感器的數(shù)據(jù)特征，明確：一般場(chǎng)景采用什么方式節(jié)省算力？不同場(chǎng)景更加信任哪種數(shù)據(jù)？特殊場(chǎng)景如何安全兜底？等問(wèn)題的處理機(jī)制，在大多數(shù)場(chǎng)景下能夠表現(xiàn)穩(wěn)定，才能真正勝出！

編輯：黃飛