淺析傳感器的外參標(biāo)定和在線標(biāo)定問題

0. 簡介

作為無人車以及智能機器人而言，在裝配過程中各個傳感器之間的外參標(biāo)定一直是比較頭疼的問題。這里作者也系統(tǒng)的學(xué)習(xí)了一下，傳感器的外參標(biāo)定和在線標(biāo)定問題。

下圖是我們常用的幾個坐標(biāo)系，而對于常用的外參問題經(jīng)常是IMU/GNSS與車體坐標(biāo)的外參、Lidar和Camera的外參、Lidar和Lidar的外參、Lidar和IMU/GNSS的外參。

1. 離線外參標(biāo)定

1.1 IMU/GNSS與車體外參標(biāo)定

這個IMU/GNSS與車體外參標(biāo)定如下圖所示，主要需要獲取$T_{car}^{imu}$坐標(biāo)系，這一類IMU/GNSS設(shè)備通過內(nèi)部的緊耦合可以綜合輸出一系列校準(zhǔn)后的位姿信息。

同時IMU的輸出頻率是很高的，所以通過插值的形式可以有效地提高整體綜合的頻率輸出。

為了去標(biāo)定外參，一般的方法是獲取位姿運動的位姿序列，并通過GNSS/IMU來觀測車輛自身的運動(有的時候我們可以通過繞圈的形式+手持點測繪來對車輛自身坐標(biāo)和GNSS坐標(biāo)進行匹配計算)。

通過獲取很多個觀測和gnss的轉(zhuǎn)換可以得到cost fuction參與到里面去優(yōu)化。

這里我們也給出了基于車體坐標(biāo)系odom和IMU的位姿聯(lián)合矯正的相關(guān)代碼，考慮到IMU和輪速計的數(shù)據(jù)收集過程中本身在時間上就很難做到完全對齊，此時引入時間偏移(delta_t)用于表示兩者采集時間片之間的誤差，通過循環(huán)標(biāo)定新產(chǎn)生的輪速計數(shù)據(jù)和原先的IMU 數(shù)據(jù)，選取誤差最小的結(jié)果作為最終兩者之間的標(biāo)定，相應(yīng)的(delta_t)即認(rèn)為兩者采集時間的偏差。

參考鏈接：

https://github.com/smallsunsun1/imu_veh_calib

其實作為車輛來說，在平面測量后，其實只需要觀測$x,y,yaw$即可。所以可以將用直線來做約束和校準(zhǔn)，得到下圖的公式：

1.2 Camera 與 Camera 外參標(biāo)定

作為相機與相機之間的標(biāo)定，其本質(zhì)和雙目攝像頭的標(biāo)定步驟類似，通過拿到的圖像信息來還原點在3D空間下的位置。如果獲取兩個相機與點的轉(zhuǎn)換關(guān)系就可以得到$T_{cam_a}^{cam_b}$的坐標(biāo)系變換。

然后根據(jù)棋盤格的坐標(biāo)系轉(zhuǎn)換就可以得到同一個點通過內(nèi)參+外參后轉(zhuǎn)到的$uv$坐標(biāo)系下的情況，然后利用PNP非線性優(yōu)化得到旋轉(zhuǎn)平移矩陣$T_{camera}^{chessboard}$。然后通過多幀來綜合約束$T_{cam_a}^{cam_b}$。

這里是經(jīng)常使用的方法，Opencv也有自帶的方法，代碼如下：

參考鏈接：

https://github.com/sourishg/stereo-calibration

1.3 Lidar 與 Camera 外參標(biāo)定

雷達(dá)和相機的校準(zhǔn)作為自動駕駛中最為重要的部分，其主要分為雷達(dá)的三維點位姿估計和相機的像素點的三維點位姿估計。

這里我們可以看到其核心思想仍然是獲取三維點的方式來完成對應(yīng)。這里當(dāng)然會因為Lidar存在掃描導(dǎo)致的誤差造成的角點提取不準(zhǔn)的原因，例如我們使用這類方法。

可以看到不同的激光得到了不一樣的角點提取效果，因此我們可以通過角點擬合的方法去實現(xiàn)，比如說我們可以通過Ransec提取出空間中的標(biāo)定板的位置區(qū)域，并獲得初步的位移量，然后在標(biāo)定板中存在幾個凸起，并通過分割和聚類的方法提取出凸起的中心點，并將點與最近的點進行映射，得到$T_{lidar}^{chessboard}$。

然后攝像頭可以通過標(biāo)定板來預(yù)估出$T_{camera}^{chessboard}$，然后這兩個通過$chessboard$的Lidar和Camera求得旋轉(zhuǎn)的TF坐標(biāo)系。

參考鏈接：

1.2D標(biāo)定板：

https://github.com/TurtleZhong/camera_lidar_calibration_v2

2.3D標(biāo)定板：

https://github.com/heethesh/lidar_camera_calibration

3.鏤空標(biāo)定板：

https://github.com/beltransen/velo2cam_calibration

4.球體標(biāo)定：

https://github.com/545907361/lidar_camera_offline_calibration

1.4 Lidar 與 Lidar 外參標(biāo)定

Lidar與Lidar的標(biāo)定其實就是兩個點云校準(zhǔn)配對的方式，一般使用PCL庫即可。這個在之前的博客中已經(jīng)詳細(xì)說過了，這里也不再展開說了。

參考鏈接：

2D雷達(dá)：

https://hermit.blog.csdn.net/article/details/120726065

https://github.com/ram-lab/lidar_appearance_calibration

3D雷達(dá)：

https://github.com/AbangLZU/multi_lidar_calibration

https://github.com/yinwu33/multi_lidar_calibration

1.5 Lidar 與 IMU/GNSS 外參標(biāo)定

Lidar和IMU/GNSS的外參標(biāo)定和車體外參的外參標(biāo)定類似，都可以通過相對位移來估算出位姿態(tài)變化，從而實現(xiàn)對齊。

當(dāng)然近年來也有一些比較好的開源方案供我們參考和選擇：

參考鏈接：?

https://github.com/APRIL-ZJU/lidar_IMU_calib

https://github.com/chennuo0125-HIT/lidar_imu_calib

https://github.com/FENGChenxi0823/SensorCalibration。

1.6 Lidar 和 Radar 外參校準(zhǔn)

與其他不一樣的是，Radar只有極坐標(biāo)信息，沒有高度信息。所以很多時候Radar和Lidar的標(biāo)注只需要標(biāo)定$x,y,yaw$信息。

而Radar對三角錐標(biāo)注更敏感，所以這也會導(dǎo)致我們的結(jié)果更準(zhǔn)確一些。

當(dāng)然也可以使用一些配準(zhǔn)的方法來實現(xiàn)標(biāo)定的功能。

參考鏈接：

https://github.com/keenan-burnett/radar_to_lidar_calib

https://github.com/gloryhry/radar_lidar_static_calibration

1.7 數(shù)據(jù)同步

數(shù)據(jù)同步作為所有傳感器外參標(biāo)定后需要做的步驟，作者也多次撰文寫過這方面的工作（https://hermit.blog.csdn.net/article/details/120489694），這里發(fā)現(xiàn)一個開源解決方案（https://github.com/lovelyyoshino/sync_gps_lidar_imu_cam），一并貼上來。

2. 在線外參標(biāo)定

在車輛運行期間，動態(tài)修正傳感器之間的相對位姿參數(shù)。與離線標(biāo)定不同，在線標(biāo)定不能擺場景（如標(biāo)定板），因此難度更大。其原因在于在車輛運行期間，傳感器的安裝位置因為振動或者外力碰撞會發(fā)生變化，以實現(xiàn)在當(dāng)參數(shù)異常時發(fā)出報警。

2.1 手眼標(biāo)定

手眼標(biāo)定這一塊的工作作者也在文章中講過，通過形成$AX=XB$的形式來估算出當(dāng)前的情況。這里是Lidar和RTK的手眼標(biāo)定方案（https://github.com/liyangSKD/lidar_rtk_calibration）。