作者：K.Fire

為了解決外參逐漸漂移的問(wèn)題，提出了一種基于線(xiàn)的方法，可以在真實(shí)場(chǎng)景中實(shí)現(xiàn)激光雷達(dá)和相機(jī)的自動(dòng)在線(xiàn)外參標(biāo)定。首先，從點(diǎn)云和圖像中提取和過(guò)濾線(xiàn)特征。然后，利用自適應(yīng)優(yōu)化方法提供精確的外部參數(shù)。然后在KITTI基準(zhǔn)上用地面真值對(duì)其進(jìn)行了評(píng)估。實(shí)驗(yàn)驗(yàn)證了標(biāo)定方法的準(zhǔn)確性。在數(shù)百幀的在線(xiàn)實(shí)驗(yàn)中，本文提出的方法自動(dòng)校正了誤標(biāo)定誤差，達(dá)到了0.2度的精度，驗(yàn)證了它在各種場(chǎng)景下的適用性。

1 引言

本文提出的目的：

傳統(tǒng)的手動(dòng)校準(zhǔn)方法需要專(zhuān)門(mén)設(shè)計(jì)對(duì)象，如標(biāo)定板或手動(dòng)選擇點(diǎn)，這導(dǎo)致校準(zhǔn)過(guò)程繁瑣。

長(zhǎng)時(shí)間的運(yùn)行和不同的載荷會(huì)導(dǎo)致外部參數(shù)的輕微漂移和累計(jì)誤差，因此需要自動(dòng)在線(xiàn)標(biāo)定對(duì)其進(jìn)行調(diào)整。

本文主要貢獻(xiàn)：

提出了一種能在線(xiàn)自動(dòng)估計(jì)六自由度(6-DOF)參數(shù)的外參標(biāo)定方法。該方法利用一般的直線(xiàn)特征減少了傳感器之間的漂移誤差，不需要人工選擇點(diǎn)和特殊目標(biāo)，因此能夠適用于任何給定的場(chǎng)景。

提出了一種點(diǎn)云線(xiàn)提取方法，利用點(diǎn)云處理方法過(guò)濾噪聲數(shù)據(jù)，準(zhǔn)確提取線(xiàn)特征。

引入自適應(yīng)優(yōu)化方法和結(jié)果置信度估計(jì)方法，實(shí)現(xiàn)了向正確方向優(yōu)化和高效計(jì)算標(biāo)定結(jié)果。

2 算法概述

提出的方法分為三個(gè)步驟：

在圖像和點(diǎn)云的特征提取之前進(jìn)行一系列的預(yù)處理

從圖像和點(diǎn)云中提取線(xiàn)特征，通過(guò)特征濾波進(jìn)行細(xì)化

最后，通過(guò)對(duì)初始外部參數(shù)添加小擾動(dòng)，將點(diǎn)云線(xiàn)特征投影到像素幀上，并對(duì)每個(gè)擾動(dòng)的得分進(jìn)行計(jì)算和優(yōu)化

本文的算法框架如下：

3 算法框架

3.1 問(wèn)題表述

激光雷達(dá)與相機(jī)的外參標(biāo)定問(wèn)題在于確定兩者之間正確的變換矩陣。將問(wèn)題定義為求旋轉(zhuǎn)角向量θ=(θx;θy;θz)，平移向量t=(tx,ty,tz)；點(diǎn)云記為，圖像記為，表示點(diǎn)I和像素ij在第t幀的值。通過(guò)將LiDAR點(diǎn)投影到圖像上計(jì)算成本分?jǐn)?shù)，目標(biāo)函數(shù)定義為:

其中每個(gè)LiDAR點(diǎn)分別迭代水平特征和垂直特征。系數(shù)α對(duì)水平和垂直線(xiàn)特征賦予不同的權(quán)重。本文將α賦值為0.65，以增強(qiáng)對(duì)水平誤差的約束。另外，w是滑動(dòng)窗口的大小?？紤]之前的w幀，計(jì)算第t幀的分?jǐn)?shù)。

通俗的說(shuō)就是：將激光雷達(dá)點(diǎn)檢測(cè)到的水平線(xiàn)特征和豎直線(xiàn)特征分別通過(guò)轉(zhuǎn)換矩陣T，變換到相機(jī)坐標(biāo)系中，然后投影到圖像上，然后通過(guò)一個(gè)在圖像上的滑動(dòng)窗口計(jì)算得分。

3.2 圖像處理

在圖像處理中，首先將RGB圖像轉(zhuǎn)換為灰度圖像；然后通過(guò)[1]中的線(xiàn)特征提取算法進(jìn)行線(xiàn)特征提取；然后對(duì)灰度圖像進(jìn)行距離變換。

下圖展示了這個(gè)過(guò)程。

圖(b)中的白色邊緣和圖(c)中的白色線(xiàn)條分別代表聚類(lèi)的邊緣特征和線(xiàn)特征。如圖(b)所示，應(yīng)用距離變換模型后，聚類(lèi)后的邊緣特征更加無(wú)序。相反，圖(c)中的線(xiàn)特征組織得更好，產(chǎn)生的灰度變化更小。它可以允許更大的搜索步長(zhǎng)，從而防止優(yōu)化過(guò)程進(jìn)入局部解決方案。

白色像素表示提取的特征，灰度變化表示到邊緣或線(xiàn)特征的距離。像素越白，越接近這些線(xiàn)特征的中心

3.3 雷達(dá)處理

在激光雷達(dá)處理中，其原理是利用距離不連續(xù)性來(lái)獲得更多的邊線(xiàn)特征。為了實(shí)現(xiàn)這一目標(biāo)，采用局部映射的方法，將三幀點(diǎn)云合并為一幀，使一幀能呈現(xiàn)更多的點(diǎn)。具體來(lái)說(shuō)，利用NDT方法計(jì)算當(dāng)前幀和前兩幀之間的變換矩陣。

在單幀和三合一幀中提取的邊界線(xiàn)點(diǎn)對(duì)比如下圖所示。圖(a)顯示了通過(guò)將三幀點(diǎn)云轉(zhuǎn)換為一幀點(diǎn)云得到的更密集的點(diǎn)云，與圖(b)中的另一幀點(diǎn)云相比，可以顯示更多的點(diǎn)。這可以提高提取性能，特別是在應(yīng)用低光束激光雷達(dá)時(shí)。

然后將更密集的點(diǎn)云轉(zhuǎn)換成圖像，每個(gè)像素存儲(chǔ)對(duì)應(yīng)雷達(dá)點(diǎn)的距離信息。通過(guò)比較當(dāng)前點(diǎn)與相鄰點(diǎn)之間的距離，消除離相鄰點(diǎn)太遠(yuǎn)的離群點(diǎn)，提取出更精確的線(xiàn)特征。需要注意的是，本文考慮了多個(gè)激光束之間的距離信息。這使得可以提取水平特征，從而使用線(xiàn)特征最小化水平和垂直誤差。水平線(xiàn)特征和垂直線(xiàn)特征分別存儲(chǔ)在兩個(gè)不同的點(diǎn)云中。在此設(shè)置中，忽略了很少出現(xiàn)的平面相交線(xiàn)特征，有利于提高計(jì)算效率。

3.4 特征過(guò)濾

在上面的處理之后，得到了無(wú)序的線(xiàn)特征。下面采用兩步過(guò)濾方法來(lái)消除異常值。

第一步：由于點(diǎn)云已經(jīng)轉(zhuǎn)換成圖像形式，因此設(shè)計(jì)了一個(gè)卷積核來(lái)過(guò)濾掉距離所有八個(gè)相鄰點(diǎn)超過(guò)一定閾值的點(diǎn)。這種過(guò)濾方法可以去除所有的異常點(diǎn)以及與地面對(duì)應(yīng)的點(diǎn)。剩余的特征可以被識(shí)別為線(xiàn)特征。

過(guò)濾前后的線(xiàn)特征如下圖所示。

第二步：使用聚類(lèi)算法去除相鄰點(diǎn)很少的線(xiàn)特征，剔除短于8像素的線(xiàn)特征。

以上兩個(gè)過(guò)濾步驟可以提供更有條理的點(diǎn)云線(xiàn)特征，保證后續(xù)步驟的優(yōu)化效果更好

3.5 自適應(yīng)優(yōu)化

在優(yōu)化之前，已經(jīng)將LiDAR線(xiàn)特征提取到圖像上，并計(jì)算投影到灰色區(qū)域的LiDAR點(diǎn)的比例。

為了準(zhǔn)確地找到解，采用了兩個(gè)搜索步驟。

首先，為了防止搜索陷入局部解，采用圖像線(xiàn)特征寬、灰度變化小、步長(zhǎng)相對(duì)較大的粗糙搜索，可以快速發(fā)現(xiàn)可能包含最佳解的區(qū)域。

然后，應(yīng)用更細(xì)的圖像線(xiàn)特征和更大的灰度變化，以及更小的步長(zhǎng)，以獲得更精確的校準(zhǔn)結(jié)果。

當(dāng)激光雷達(dá)點(diǎn)投射到灰色區(qū)域的比例超過(guò)一定閾值時(shí)，就會(huì)發(fā)生這兩步大小和灰度變化之間的切換。

為了提高計(jì)算效率，提出了一種自適應(yīng)優(yōu)化方法，使優(yōu)化向著正確的方向進(jìn)行。

將當(dāng)前像素得分與相鄰的728個(gè)得分進(jìn)行比較。在此過(guò)程中，如果搜索程序發(fā)現(xiàn)得分較高的參數(shù)，則停止當(dāng)前搜索過(guò)程，并在得分較高的位置開(kāi)始新的搜索過(guò)程。此外，當(dāng)達(dá)到設(shè)定的迭代次數(shù)或找到最佳分?jǐn)?shù)時(shí)，該搜索過(guò)程將停止，從而可以提高計(jì)算效率。另外，還使用滑動(dòng)窗口來(lái)設(shè)置優(yōu)化過(guò)程中需要考慮的幀。在本文中，為了防止從錯(cuò)誤的方向進(jìn)行優(yōu)化搜索或陷入局部最優(yōu)解，使用了三幀。因此，最終優(yōu)化的外部參數(shù)應(yīng)該在滑動(dòng)窗口的所有幀中都超過(guò)其他參數(shù)。

4 實(shí)驗(yàn)與結(jié)果

在KITTI數(shù)據(jù)集的不同場(chǎng)景下進(jìn)行了兩次實(shí)驗(yàn)。

4.1 精度分析

圖(a)和(b)給出了實(shí)驗(yàn)一的結(jié)果，圖(c)和(d)給出了實(shí)驗(yàn)二的結(jié)果。在這兩個(gè)實(shí)驗(yàn)中，在X、Y、Z軸上增加了1度的旋轉(zhuǎn)偏置，并對(duì)地面真值參數(shù)增加了0.05米的變換偏置。然后，每10幀添加0.5度的旋轉(zhuǎn)偏差。需要指出的是，1度旋轉(zhuǎn)偏置是正還是負(fù)是隨機(jī)的。實(shí)驗(yàn)將標(biāo)定誤差與地面真實(shí)值進(jìn)行了比較。此外，還測(cè)試了檢測(cè)誤校準(zhǔn)的能力和糾正偏差的速度。

在不計(jì)算人為誤差的情況下，橫搖、俯仰、偏航的最大誤差始終在0.5度以?xún)?nèi)。由于激光雷達(dá)具有較高的水平分辨率，偏航的校準(zhǔn)結(jié)果最為精確。盡管激光雷達(dá)在垂直方向上的分辨率要低得多，并且該方向上的3D特征呈現(xiàn)頻率較低，但由于采用了自適應(yīng)優(yōu)化算法，并且該方向的權(quán)重較高，因此所提出方法仍然可以達(dá)到較高的精度?？傮w而言，在所有維度上的平均旋轉(zhuǎn)誤差為0.12度，低于大多數(shù)離線(xiàn)校準(zhǔn)技術(shù)。

4.2 糾錯(cuò)速度分析

在上圖(a)和(b)中，黑色箭頭1、2、3和4指向添加偏差的框架。對(duì)于箭頭1和3提出的方法立即糾正了偏差，而沒(méi)有顯示置信度下降，而對(duì)于黑色箭頭2和4，紅色部分在兩幀內(nèi)變?yōu)榫G色(圖(a))，這意味著偏差在兩幀內(nèi)得到了糾正。實(shí)驗(yàn)二也出現(xiàn)了同樣的情況(圖(c)和(d))。這里也推薦「3D視覺(jué)工坊」新課程《如何學(xué)習(xí)相機(jī)模型與標(biāo)定？（代碼+實(shí)戰(zhàn)）》。

5 總結(jié)

本文提出了一種在線(xiàn)自動(dòng)標(biāo)定激光雷達(dá)和相機(jī)外部參數(shù)的方法。與以前的自動(dòng)化方法不同，這種新的校準(zhǔn)方法不需要在場(chǎng)景中放置標(biāo)記。作者證明了點(diǎn)云和圖像的線(xiàn)特征是校正校準(zhǔn)偏差的魯棒特征。人為添加的偏置可以在一到兩幀內(nèi)得到糾正，比其他方法更快。此外，文中還說(shuō)明了當(dāng)前校準(zhǔn)結(jié)果的置信度可以計(jì)算，并進(jìn)一步用于提高計(jì)算效率和精度。

未來(lái)的工作希望評(píng)估提取的線(xiàn)特征的準(zhǔn)確性，以減少特征較少的場(chǎng)景中的校準(zhǔn)偏差。利用蒙特卡羅方法可以提供初始參數(shù)。

6 參考文獻(xiàn)

[1]R. G. Von Gioi, J. Jakubowicz, J.-M. Morel, and G. Randall, “Lsd: aline segment detector,” Image Processing On Line, vol. 2, pp. 35–55, 2012.

編輯：黃飛

?