文章：Online Camera-to-ground Calibration for Autonomous Driving

作者：Binbin Li, Xinyu Du, Yao Hu, Hao Yu, and Wende Zhang

相機(jī)與地面的在線標(biāo)定是一般指實(shí)時(shí)生成相機(jī)與道路平面之間的非剛體變換，現(xiàn)有的解決方案常常利用靜態(tài)標(biāo)定，在面對(duì)輪胎氣壓變化、車輛載重體積變化和道路表面多樣性等環(huán)境變化時(shí)存在問題。其他在線解決方案利用道路元素或圖像中重疊視圖之間的光度一致性，這需要在道路上連續(xù)檢測特定目標(biāo)或借助多個(gè)攝像頭來進(jìn)行標(biāo)定。在這項(xiàng)工作中提出了一種在線的單目相機(jī)與地面標(biāo)定解決方案，不需要在行駛過程中使用任何特定目標(biāo)。通過輪速里程計(jì)進(jìn)行粗到精的地面特征提取，并通過基于滑動(dòng)窗口的因子圖優(yōu)化來估計(jì)相機(jī)與地面的標(biāo)定參數(shù)。考慮到駕駛過程中相機(jī)與地面之間的非剛性變換，我們提供了衡量標(biāo)定性能的指標(biāo)和停止標(biāo)準(zhǔn)，以發(fā)布我們滿意的標(biāo)定結(jié)果。使用真實(shí)的數(shù)據(jù)進(jìn)行的廣泛實(shí)驗(yàn)表明該算法有效，并且優(yōu)于現(xiàn)有的技術(shù)。

介紹

現(xiàn)代車輛配備了各種攝像頭，以獲取與周圍環(huán)境相關(guān)的豐富語義信息，并將特征統(tǒng)一在共享的鳥瞰圖中，以支持可解釋的運(yùn)動(dòng)規(guī)劃任務(wù)。相機(jī)與地面的標(biāo)定在確定相機(jī)坐標(biāo)和地面坐標(biāo)之間的特征位置的幾何變換方面起著關(guān)鍵作用。它有助于消除相機(jī)的透視畸變，提供鳥瞰圖表示空間，并且便于估算安裝在車輛上的相機(jī)與地面上位置之間的距離，這在先進(jìn)駕駛輔助系統(tǒng)（ADAS）和自動(dòng)駕駛系統(tǒng)中被廣泛應(yīng)用。 在過去的幾十年中，已經(jīng)提出了許多相機(jī)與地面的標(biāo)定方法。這些方法通?？梢苑譃閮深悾?（1）靜態(tài)標(biāo)定； （2）行駛過程中的在線標(biāo)定。 第一類方法通常使用諸如棋盤格或手動(dòng)標(biāo)注的地面物體等各種模式，事先計(jì)算相機(jī)與地面之間的變換關(guān)系。然而，由于車輛在道路上行駛時(shí)，由于輪胎氣壓變化、車輛載荷變化、道路表面多樣性和部件振動(dòng)，此類變換是非剛性的。相機(jī)與地面的標(biāo)定應(yīng)在行駛過程中進(jìn)行多次，以調(diào)整幾何投影的變化。例如，由周圍視圖魚眼相機(jī)捕獲的圖像在圖1(a)中，靜態(tài)標(biāo)定在圖1(b)中會(huì)導(dǎo)致BEV圖像不準(zhǔn)確。在線標(biāo)定可以減小變換誤差，確保適當(dāng)?shù)靥幚硗队白兓?，并生成圖1(c)中對(duì)齊良好的BEV圖像。

第二類現(xiàn)有方法應(yīng)用在線標(biāo)定，這需要從道路上提取出特定的幾何形狀，例如單目相機(jī)的消失點(diǎn)和周圍視圖相機(jī)提取的車道標(biāo)線，或者多個(gè)相機(jī)之間重疊區(qū)域的光度一致性，以輔助標(biāo)定調(diào)整。然而，在各種行駛環(huán)境中很難保持這些要求。在這種情況下，需要在使用單個(gè)攝像頭連續(xù)圖像的情況下進(jìn)行相機(jī)與地面的標(biāo)定，而不依賴于任何特定的標(biāo)定目標(biāo)。

主要內(nèi)容

本文采用了一種從粗到精的方法，在車輛行駛在道路上時(shí)，通過因子圖優(yōu)化獲取地面特征并優(yōu)化相機(jī)到地面的標(biāo)定參數(shù)，而無需使用任何特定的標(biāo)定目標(biāo)。利用圖像中水平線分離地面和非地面區(qū)域，通過輪式測程法預(yù)測地面特征的位置，并使用基于幾何的方法驗(yàn)證地面特征。對(duì)三角測量的地面特征進(jìn)行平面擬合，以獲取地面的法向量和相機(jī)到地面的高度，并通過因子圖優(yōu)化進(jìn)一步改進(jìn)這些參數(shù)，以確定相機(jī)到地面的變換關(guān)系?？紤]到在駕駛過程中相機(jī)到地面的非剛性變換，還提出了度量標(biāo)定性能的指標(biāo)和停止準(zhǔn)則，以確保標(biāo)定質(zhì)量。 圖2展示了我們的系統(tǒng)框圖。主要包含以下模塊：首先利用運(yùn)動(dòng)學(xué)自車模型恢復(fù)圖像關(guān)鍵幀之間的相對(duì)運(yùn)動(dòng)，以便進(jìn)行相機(jī)姿態(tài)估計(jì)和地面點(diǎn)三角測量；其次從關(guān)鍵幀中提取粗糙的地面特征，通過車輛運(yùn)動(dòng)進(jìn)行特征預(yù)測，并進(jìn)一步進(jìn)行優(yōu)化地面特征驗(yàn)證過程；然后進(jìn)行地面平面擬合，獲取地面法向量和相機(jī)到地面的高度；然后通過因子圖優(yōu)化來細(xì)化相機(jī)姿態(tài)和相機(jī)到地面的變換參數(shù)，并提出了一個(gè)停止標(biāo)定準(zhǔn)則，確定何時(shí)發(fā)布相機(jī)到地面的標(biāo)定結(jié)果。

圖2. 系統(tǒng)框架 A. 通過輪速里程計(jì)測量的相機(jī)運(yùn)動(dòng)? 利用CAN總線系統(tǒng)提供的連續(xù)車輪里程讀數(shù)估計(jì)車輛隨時(shí)間的姿態(tài)變化，并確定相機(jī)關(guān)鍵幀之間的相對(duì)運(yùn)動(dòng)，以恢復(fù)單目相機(jī)系統(tǒng)的尺度因子。具體公式推導(dǎo)查看原文。 B. 連續(xù)關(guān)鍵幀的地面提取? 地面特征（即車輛所行駛的道路表面上的特征）在相機(jī)與地面標(biāo)定中起著重要作用。在城市/郊區(qū)環(huán)境中，大多數(shù)地面特征位于具有相似紋理的混凝土或?yàn)r青道路表面上，這些特征很難提取和匹配。提出了一種新穎的粗到細(xì)的地面特征提取架構(gòu)，用于穩(wěn)健的相機(jī)與地面標(biāo)定，首先，我們引入地平線提取方法，通過車輛運(yùn)動(dòng)預(yù)測地面特征的位置，以便進(jìn)行特征匹配。然后，我們利用幾何方法來驗(yàn)證地面特征，并進(jìn)行地面平面擬合，以獲得地面法線向量和相機(jī)中心到地面的高度。在進(jìn)行標(biāo)定時(shí)，選擇以穩(wěn)定速度行駛時(shí)的關(guān)鍵幀，這樣可以在不同的圖像幀之間獲得較小的相機(jī)姿態(tài)變化，有利于標(biāo)定過程的穩(wěn)定性，關(guān)鍵幀是指在時(shí)間序列中選擇的一幀圖像，通常表示為時(shí)間間隔的起點(diǎn)。從選擇的關(guān)鍵幀開始，通過KLT稀疏光流算法提取圖像中的角點(diǎn)特征，并進(jìn)行跟蹤。然后通過水平線分割圖像，可以篩選位于水平線以下的特征點(diǎn)來選擇地面特征，并利用車輛的運(yùn)動(dòng)信息進(jìn)一步預(yù)測地面特征在下一個(gè)關(guān)鍵幀中的位置，這樣，我們可以有效地提取和跟蹤地面特征，為后續(xù)的相機(jī)到地面標(biāo)定和場景理解提供重要的信息。

圖3. 通過車輛運(yùn)動(dòng)進(jìn)行特征預(yù)測，這里，Ok是關(guān)鍵幀Ik的相機(jī)中心。 圖4. 粗糙的地面特征提取，對(duì)于每個(gè)特征，通過車輛運(yùn)動(dòng)預(yù)測其在下一個(gè)關(guān)鍵幀中的位置（a）。因此，與沒有任何預(yù)測的KLT跟蹤器中的特征相比，在（b）中我們有更多的、質(zhì)量更高的匹配特征對(duì)。進(jìn)一步在（d）中從（b）中均勻采樣/選擇特征以進(jìn)行計(jì)算優(yōu)化。這里，紅色線段的端點(diǎn)表示關(guān)鍵幀Ik和Ik+1之間的匹配特征，綠色線是地平線。 C. 跨關(guān)鍵幀地面優(yōu)化 采用基于滑動(dòng)窗口的因子圖優(yōu)化方法來優(yōu)化相機(jī)姿態(tài)、地面法向量和相機(jī)中心到地面的高度。通過使用單應(yīng)性變換矩陣，可以將當(dāng)前關(guān)鍵幀的特征點(diǎn)投影到上一關(guān)鍵幀的圖像中。然后，我們通過最小化重投影誤差來優(yōu)化相機(jī)姿態(tài)和地面參數(shù)，以確保在上一關(guān)鍵幀中的特征點(diǎn)與當(dāng)前關(guān)鍵幀中的投影點(diǎn)之間的一致性。具體來說，我們首先計(jì)算從當(dāng)前關(guān)鍵幀到上一關(guān)鍵幀的相機(jī)姿態(tài)變換。然后，根據(jù)相機(jī)姿態(tài)變換將當(dāng)前關(guān)鍵幀的特征點(diǎn)投影到上一關(guān)鍵幀的圖像平面上。接下來，我們計(jì)算投影點(diǎn)與上一關(guān)鍵幀中的特征點(diǎn)之間的重投影誤差，并將其作為優(yōu)化問題的目標(biāo)函數(shù)。通過最小化這個(gè)目標(biāo)函數(shù)，我們可以同時(shí)調(diào)整相機(jī)姿態(tài)、地面法向量和相機(jī)中心到地面的高度，從而得到更準(zhǔn)確的地面參數(shù)。通過這種跨關(guān)鍵幀的地面優(yōu)化方法，可以更好地優(yōu)化相機(jī)姿態(tài)和地面參數(shù)，提高相機(jī)到地面的標(biāo)定精度，并為后續(xù)的路徑規(guī)劃和場景感知任務(wù)提供更準(zhǔn)確的地面信息。

實(shí)驗(yàn)

在各種駕駛場景下使用乘用車實(shí)現(xiàn)了我們的算法并進(jìn)行了大量實(shí)驗(yàn)，車輛安裝了由四個(gè)向下朝向的魚眼攝像機(jī)組成的全景攝像系統(tǒng)（參見圖1（a）中的示例），這些攝像機(jī)與車輪編碼器數(shù)據(jù)同步。攝像機(jī)的幀率為33 Hz，圖像分辨率調(diào)整為812×540。我們收集了來自不同區(qū)域的長序列連續(xù)數(shù)據(jù)，以分析我們算法的效率和魯棒性（參見表I）。這些數(shù)據(jù)涵蓋了從平坦的鋪裝地面（FPG）到城市、郊區(qū)和農(nóng)村等不同天氣、光照和駕駛條件下的公共道路，F(xiàn)PG數(shù)據(jù)來自極其平坦的瀝青路面，用于驗(yàn)證我們動(dòng)態(tài)標(biāo)定的基準(zhǔn)性能。表I的最后一列表示車輛行駛而不是停車的時(shí)間百分比。 圖6 我們的方法在具有挑戰(zhàn)性的駕駛場景中表現(xiàn)良好，圖中的標(biāo)簽與表格I從上到下對(duì)應(yīng)。

將我們的方法與現(xiàn)有的最先進(jìn)方法進(jìn)行比較，從而定性地檢驗(yàn)性能，包括Liu等人[23]、OECS[24]和ROECS[25]在我們的數(shù)據(jù)集上的性能。首先比較了在FPG數(shù)據(jù)上的標(biāo)定性能，并在表II中總結(jié)了結(jié)果。與我們的對(duì)手一樣，我們的方法在車輛行駛在FPG上時(shí)能夠生成連續(xù)穩(wěn)定的相機(jī)到地面的標(biāo)定。因此，我們顯示了與地面真實(shí)（GT）標(biāo)定的歐拉角差的平均值，并評(píng)估絕對(duì)變化量δr、δp和δy。這里，δr、δp和δy分別表示滾轉(zhuǎn)角、俯仰角和偏航角的變化量。表II中的δh列是相機(jī)中心到地面的高度位移。在表II中，即使在圖像上沒有可辨別紋理的混凝土路面上，我們的在線方法也取得了更好的性能。例如，我們的方法在俯仰角、偏航角和高度估計(jì)方面分別獲得了顯著的絕對(duì)增益，分別為44.4%、50.0%和71.2%。

為了展示我們提出的方法的優(yōu)越性，我們在圖7中呈現(xiàn)了（11）和（12）的誤差直方圖。在圖7中獲得了不同區(qū)間的誤差差異，作為我們相對(duì)于最先進(jìn)工作的性能提升的總和。我們的方法在不同水平下具有相對(duì)較小的特征轉(zhuǎn)移誤差f，并且誤差保持在0.83像素以內(nèi)，這在不同數(shù)據(jù)序列中保持一致。我們的方法在郊區(qū)數(shù)據(jù)上獲得了最低的性能增益44.2%，在城市數(shù)據(jù)上獲得了最高的性能增益67.6%。在從城市到農(nóng)村地區(qū)的公共道路駕駛數(shù)據(jù)中，與最先進(jìn)方法相比，我們的方法在誤差p方面表現(xiàn)更好。誤差p在0.75像素以內(nèi)變化，并且90.9%的誤差在0.67像素以內(nèi)。在考慮平坦道路條件的情況下，性能提高了12.7%，在郊區(qū)數(shù)據(jù)中獲得了最高得分，而在FPG數(shù)據(jù)中獲得了最低得分，為1.59%。?

圖7. 表I中數(shù)據(jù)序列的性能直方圖。水平軸的值對(duì)應(yīng)于（11）和（12）中的誤差，垂直軸是概率密度。請(qǐng)放大查看詳細(xì)信息。 圖8展示了在車輛以高速直行時(shí)不同方法生成的鳥瞰圖像的視覺結(jié)果。我們的方法不依賴于不同攝像頭之間的重疊區(qū)域或特定物體，獲得了較小的特征殘差誤差，并生成了更好對(duì)齊的鳥瞰圖像，原因如下： （1）直行車道標(biāo)線與車輛行駛方向平行， （2）攝像頭之間的車道標(biāo)線互相重疊， （3）道路上的混凝土裂縫在相鄰攝像頭鳥瞰圖像的重疊區(qū)域上連接在一起。

圖8. 在行駛過程中城市I數(shù)據(jù)的示例結(jié)果。我們展示了(a)我們的結(jié)果，(b)ROECS [25]，(c)OECS [24]和(d)Liu等人的結(jié)果。

總結(jié)

我們提出了一種在線相機(jī)到地面無目標(biāo)標(biāo)定方法，用于在行駛過程中生成相機(jī)坐標(biāo)與地面坐標(biāo)之間的非剛體變換。采用了一種新穎的粗到精的架構(gòu)來選擇地面特征，并通過基于幾何的方法進(jìn)行驗(yàn)證。對(duì)三角化的地面特征進(jìn)行平面擬合，以獲得地面法向量和相機(jī)到地面的高度，然后通過滑動(dòng)窗口的因子圖優(yōu)化對(duì)其進(jìn)行優(yōu)化。通過旋轉(zhuǎn)平均確定相機(jī)到地面的變換，并提供停止標(biāo)準(zhǔn)來廣播滿足標(biāo)定結(jié)果的情況。使用從不同天氣和駕駛條件下收集的真實(shí)數(shù)據(jù)對(duì)我們的算法進(jìn)行了廣泛測試，結(jié)果顯示我們的方法是有效的，并且優(yōu)于最先進(jìn)的技術(shù)。在未來，我們將減少因子圖優(yōu)化的運(yùn)行時(shí)間復(fù)雜度，并進(jìn)行可觀測性分析，以識(shí)別幫助丟棄不需要用于標(biāo)定計(jì)算的姿態(tài)和地面特征的退化場景。 —END—

編輯：黃飛