本篇文章為大家介紹一種新穎且經(jīng)濟(jì)高效的重建方案，利用預(yù)先建立的激光雷達(dá)地圖作為固定約束，有效解決了單目相機(jī)重建中存在的尺度問(wèn)題。

作者：

Chunge Bai , Ruijie Fu and Xiang Gao

先進(jìn)的單目相機(jī)重建技術(shù)主要依賴于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（Structure from Motion，SfM）方案。然而這些方法通常產(chǎn)生的重建結(jié)果缺乏關(guān)鍵的尺度信息，隨著時(shí)間的推移，圖像的累積導(dǎo)致不可避免的漂移問(wèn)題。相比之下，基于激光雷達(dá)掃描幀的地圖方法在大規(guī)模城市場(chǎng)景重建中很受歡迎，因?yàn)樗鼈兙哂芯_的距離測(cè)量能力，這在基于視覺(jué)的方法中基本上是缺失的。研究人員嘗試?yán)猛瑫r(shí)進(jìn)行的激光雷達(dá)和相機(jī)測(cè)量來(lái)追求在地圖結(jié)果中實(shí)現(xiàn)精確的尺度和顏色細(xì)節(jié)。然而這些結(jié)果受外參校準(zhǔn)和時(shí)間同步精度的影響。本文提出了一種新穎且經(jīng)濟(jì)高效的重建方案，利用預(yù)先建立的激光雷達(dá)地圖作為固定約束，有效解決了單目相機(jī)重建中存在的尺度問(wèn)題。據(jù)我們所知，我們的方法是第一個(gè)將圖像配準(zhǔn)到點(diǎn)云地圖上而無(wú)需同步捕獲相機(jī)和激光雷達(dá)數(shù)據(jù)的方法，使我們能夠在各種感興趣的區(qū)域重建更多細(xì)節(jié)。為了促進(jìn)這一領(lǐng)域的進(jìn)一步研究，我們發(fā)布了Colmap-PCD，這是一個(gè)利用Colmap算法的開源工具，可以實(shí)現(xiàn)對(duì)圖像到點(diǎn)云地圖的精確細(xì)致的配準(zhǔn)。

主要貢獻(xiàn)

實(shí)現(xiàn)圖像與其重建對(duì)象之間的精確2D-3D對(duì)應(yīng)關(guān)系對(duì)于準(zhǔn)確的圖像定位至關(guān)重要，一種有前景的方法涉及在圖像和激光雷達(dá)平面之間建立對(duì)應(yīng)關(guān)系，激光雷達(dá)平面可以被視為來(lái)自激光雷達(dá)點(diǎn)云地圖的重建對(duì)象的替代3D特征。為此，我們選擇使用Colmap，這是一個(gè)基于經(jīng)典的運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（Structure-from-Motion，SfM）方案的穩(wěn)健軟件工具。在此基礎(chǔ)上通過(guò)將預(yù)先建立的激光雷達(dá)地圖作為固定約束納入因子圖優(yōu)化過(guò)程中，來(lái)增強(qiáng)管線。這個(gè)包含有助于確保圖像的重建尺度與激光雷達(dá)地圖的尺度密切匹配，從而增強(qiáng)了注冊(cè)過(guò)程的準(zhǔn)確性。我們的方法使用自行收集的數(shù)據(jù)集進(jìn)行評(píng)估，結(jié)果清晰地展示了其在標(biāo)準(zhǔn)Colmap方法上的卓越性能。更具體地說(shuō)，我們的方法產(chǎn)生了一個(gè)帶有準(zhǔn)確尺度的重建結(jié)果，超出了原始Colmap的能力范圍。總體而言，本文提出了三個(gè)重要貢獻(xiàn)：

1）引入Colmap-PCD，一種圖像到點(diǎn)云配準(zhǔn)方案，通過(guò)使用激光雷達(dá)地圖優(yōu)化圖像定位。它產(chǎn)生具有準(zhǔn)確尺度信息的精確定位和重建結(jié)果，無(wú)需同步激光雷達(dá)和相機(jī)數(shù)據(jù)收集。

2）通過(guò)對(duì)自行收集的數(shù)據(jù)集進(jìn)行全面測(cè)試，展示了Colmap-PCD的有效性。

內(nèi)容概述

Colmap簡(jiǎn)要概述

對(duì)應(yīng)點(diǎn)搜索：對(duì)應(yīng)搜索過(guò)程包括特征提取和特征匹配，通過(guò)識(shí)別跨越各種輸入圖像的匹配2D特征點(diǎn)來(lái)確定潛在的場(chǎng)景重疊。為增強(qiáng)圖像匹配的可靠性，Colmap通過(guò)在不同的轉(zhuǎn)換條件下計(jì)算內(nèi)點(diǎn)數(shù)來(lái)選擇最可信的變換模型。?

初始化：選擇一個(gè)適當(dāng)?shù)膱D像對(duì)進(jìn)行初始重建，確保它與多個(gè)圖像共享足夠的共同觀測(cè)。然后，利用三角測(cè)量生成初始的3D重建點(diǎn)集。?

選擇并配準(zhǔn)下一張圖像：選擇一張與當(dāng)前模型具有更多共同可見(jiàn)點(diǎn)并具有更均勻分布模式的圖像作為下一張要配準(zhǔn)的圖像。通過(guò)PnP將圖像配準(zhǔn)到模型。?

三角化測(cè)量：對(duì)新圖像執(zhí)行三角測(cè)量，將新場(chǎng)景集成到現(xiàn)有的3D結(jié)構(gòu)中。由于噪聲，Colmap將單個(gè)3D點(diǎn)的特征軌跡視為一組測(cè)量，可以進(jìn)行配對(duì)。使用直接線性變換（DLT）方法計(jì)算配對(duì)測(cè)量的3D點(diǎn)，通過(guò)RANSAC進(jìn)行遞歸采樣和調(diào)整采樣區(qū)域，獲得可靠的三角測(cè)量結(jié)果。?

增量捆集調(diào)整：在每次三角測(cè)量后，進(jìn)行局部捆集調(diào)整（BA）以調(diào)整新配準(zhǔn)圖像和其他共享更多共同觀測(cè)的已配準(zhǔn)圖像的參數(shù)和3D點(diǎn)位置。?

全局捆集調(diào)整：執(zhí)行全局捆集調(diào)整以計(jì)算所有已配準(zhǔn)圖像的最佳3D模型和參數(shù)。為節(jié)省時(shí)間，與先前的全局優(yōu)化相比，當(dāng)模型的體積增長(zhǎng)到一定程度時(shí)將進(jìn)行全局捆集調(diào)整（BA）。

Colmap-PCD算法

Colmap-PCD通過(guò)將從視覺(jué)圖像中重建的3D點(diǎn)與從LiDAR點(diǎn)云地圖中提取的平面匹配，旨在同時(shí)最小化重投影誤差和3D點(diǎn)與關(guān)聯(lián)LiDAR平面之間的距離。整個(gè)流程如圖2所示。

圖2：Colmap-PCD的流程，藍(lán)色框中的過(guò)程屬于原始Colmap，紅色框中的過(guò)程是與LiDAR相關(guān)的過(guò)程

投影

? 將LiDAR點(diǎn)云投影到已知的相機(jī)成像平面In。

??劃分LiDAR點(diǎn)云為固定大小的體素，通過(guò)四條線形成四邊形金字塔。

? 通過(guò)遍歷體素中的LiDAR點(diǎn)，將其從世界坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系，并投影到成像平面。

圖3：將LiDAR點(diǎn)投影到相機(jī)成像平面的四棱錐中，四棱錐的頂點(diǎn)代表相機(jī)中心。

點(diǎn)到平面關(guān)聯(lián)

? 將3D點(diǎn)與LiDAR點(diǎn)關(guān)聯(lián)，使其盡可能與所屬的LiDAR平面匹配。

? 使用深度投影和最近鄰搜索兩種方法進(jìn)行點(diǎn)對(duì)平面關(guān)聯(lián)。

? 在深度投影中，通過(guò)計(jì)算角度選擇最小的LiDAR點(diǎn)作為相應(yīng)的LiDAR點(diǎn)。

? 最近鄰搜索方法用于所有點(diǎn)對(duì)平面關(guān)聯(lián)過(guò)程。

初始化

? 初始化圖像需要大致已知的相機(jī)位姿。

? 初始圖像和其位姿手動(dòng)設(shè)置，位姿不需要精確。

? 通過(guò)投影獲取初始2D特征點(diǎn)的相應(yīng)LiDAR點(diǎn)，建立初始3D模型。

? 隨著圖像數(shù)量增加，初始3D模型逐漸收斂到正確狀態(tài)。

捆集調(diào)整

? 有增量束調(diào)整、批量束調(diào)整和整體地圖束調(diào)整三種類型。

? 在新圖像的三角測(cè)量后，執(zhí)行增量BA減輕累積誤差。

? 執(zhí)行批處理BA以節(jié)省時(shí)間，構(gòu)建包含相機(jī)位姿和3D點(diǎn)的3D模型。

? 整體地圖BA用于進(jìn)一步優(yōu)化整個(gè)模型，將2D特征、圖像位姿、3D點(diǎn)和LiDAR點(diǎn)添加到因子圖中進(jìn)行優(yōu)化。

圖：用于捆集調(diào)整的因子圖

基于已知位姿的增量重建

如果通過(guò)一些傳感器（如GPS）的測(cè)量已經(jīng)知道了大致相機(jī)位姿，可以使用已知位姿開始增量重建。

實(shí)驗(yàn)

驗(yàn)證了Colmap-PCD的有效性和尺度準(zhǔn)確性。我們?cè)谛@收集了三個(gè)數(shù)據(jù)集，如圖7所示。每個(gè)數(shù)據(jù)集都有一個(gè)預(yù)建的LiDAR點(diǎn)云地圖、450張圖像和相應(yīng)的相機(jī)內(nèi)參。

圖: 自行采集的點(diǎn)云地圖

定位結(jié)果

圖顯示了Colmap-PCD和原始Colmap的重建結(jié)果。左圖和中圖顯示了Colmap-PCD的重建結(jié)果。左圖包括LiDAR地圖和3D重建點(diǎn)，而中圖只顯示了3D重建點(diǎn)。右圖顯示了Colmap的重建結(jié)果，包括LiDAR地圖和3D重建點(diǎn)。紅色的金字塔表示相機(jī)位姿。顯然，重建結(jié)果幾乎與LiDAR生成的地圖完美對(duì)齊，表明LiDAR點(diǎn)云地圖在圖像定位過(guò)程中提供了積極的約束。然而，原始Colmap的建圖尺度與實(shí)際環(huán)境顯著不同。

圖: Colmap-PCD和Colmap的重建結(jié)果

顯示了從圖像反投影到LiDAR點(diǎn)云的結(jié)果，顯然非常準(zhǔn)確。該結(jié)果表明Colmap-PCD能夠?qū)崿F(xiàn)對(duì)圖像定位所需的精度。?

LiDAR點(diǎn)對(duì)圖像定位的影響

第一個(gè)實(shí)驗(yàn)考察了可以用于改善姿態(tài)估計(jì)過(guò)程的LiDAR平面數(shù)量。通過(guò)點(diǎn)對(duì)平面關(guān)聯(lián)搜索平面。如圖所示，x軸表示解決的圖像位姿數(shù)量，y軸表示在單次迭代中利用的LiDAR平面計(jì)數(shù)。紫色線表示通過(guò)投影實(shí)現(xiàn)LiDAR平面與3D點(diǎn)之間的匹配，黃色線表示通過(guò)最近鄰搜索和投影成功關(guān)聯(lián)的LiDAR平面的總計(jì)數(shù)?？梢杂^察到大量LiDAR平面有助于圖像定位。

圖：增量捆集調(diào)整中使用的平面數(shù)量（室內(nèi)，室外1，室外2）

第二個(gè)實(shí)驗(yàn)展示了每次局部束調(diào)整前后的點(diǎn)對(duì)平面距離的趨勢(shì)。如圖所示，距離在每次迭代后收斂到最小值，表明3D點(diǎn)能夠與點(diǎn)云地圖中的適當(dāng)位置很好地對(duì)齊。

圖：3D點(diǎn)與相應(yīng)LiDAR平面之間的距離（室內(nèi)，室外1，室外2）

重投影誤差分析?

這個(gè)實(shí)驗(yàn)展示了重投影誤差的變化。如圖12所示，紫色線表示平均重投影誤差，而黃色區(qū)域描繪了重投影誤差協(xié)方差的分布。

圖: 重投影誤差（室內(nèi)，室外1，室外2）

我們拍攝了靠近LiDAR地圖原點(diǎn)的第一張圖像，因此初始位置和方向被設(shè)置為0。如表I所示，初始圖像的最終定位結(jié)果表明，隨著圖像數(shù)量的增加，即使提供了相對(duì)較大的初始位置誤差，初始圖像的位姿也能逐漸收斂到正確的結(jié)果。

總結(jié)

本文介紹了一種方案通過(guò)將異步獲取的圖像與LiDAR點(diǎn)云對(duì)準(zhǔn)，以獲得具有準(zhǔn)確比例的定位結(jié)果。通過(guò)對(duì)自行收集的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，該方法在圖像累積方面表現(xiàn)出一定的有效性和穩(wěn)定性。此外該方案允許在重建區(qū)域進(jìn)行靈活的細(xì)節(jié)級(jí)調(diào)整，使其適用于協(xié)作式大規(guī)模場(chǎng)景重建。總的來(lái)說(shuō)，我們的算法為圖像定位和大規(guī)模場(chǎng)景重建任務(wù)做出了貢獻(xiàn)，為該領(lǐng)域未來(lái)的研究提供了有價(jià)值的見(jiàn)解。

審核編輯：黃飛

?