本文摘自于：鄭太雄, 黃帥, 李永福, 馮明馳. 基于視覺(jué)的三維重建關(guān)鍵技術(shù)研究綜述. 自動(dòng)化學(xué)報(bào), 2020, 46(4): 631-652. doi:?10.16383/j.aas.2017.c170502 ?

三維重建經(jīng)過(guò)數(shù)十年的發(fā)展, 已經(jīng)取得巨大的成功。基于視覺(jué)的三維重建在計(jì)算機(jī)領(lǐng)域是一個(gè)重要的研究?jī)?nèi)容, 主要通過(guò)使用相關(guān)儀器來(lái)獲取物體的二維圖像數(shù)據(jù)信息, 然后, 再對(duì)獲取的數(shù)據(jù)信息進(jìn)行分析處理, 最后, 利用三維重建的相關(guān)理論重建出真實(shí)環(huán)境中物體表面的輪廓信息。

基于視覺(jué)的三維重建具有速度快、實(shí)時(shí)性好等優(yōu)點(diǎn), 能夠廣泛應(yīng)用于人工智能、機(jī)器人、無(wú)人駕駛、SLAM (Simultaneous localization and mapping)、虛擬現(xiàn)實(shí)和3D打印等領(lǐng)域。三維重建技術(shù)的分類方法如下圖所示：

基于主動(dòng)視覺(jué)的三維重建技術(shù)主要包括激光掃描法、結(jié)構(gòu)光法、陰影法和TOF技術(shù)、雷達(dá)技術(shù)、Kinect技術(shù)等。 ?

1? 激光掃描法

激光掃描法其實(shí)就是利用激光測(cè)距儀來(lái)進(jìn)行真實(shí)場(chǎng)景的測(cè)量。

首先, 激光測(cè)距儀發(fā)射光束到物體的表面, 然后, 根據(jù)接收信號(hào)和發(fā)送信號(hào)的時(shí)間差確定物體離激光測(cè)距儀的距離, 從而獲得測(cè)量物體的大小和形狀。

2?? 結(jié)構(gòu)光法

結(jié)構(gòu)光法的原理是首先按照標(biāo)定準(zhǔn)則將投影設(shè)備、圖像采集設(shè)備和待測(cè)物體組成一個(gè)三維重建系統(tǒng); 其次, 在測(cè)量物體表面和參考平面分別投影具有某種規(guī)律的結(jié)構(gòu)光圖; 然后再使用視覺(jué)傳感器進(jìn)行圖像采集, 從而獲得待測(cè)物體表面以及物體的參考平面的結(jié)構(gòu)光圖像投影信息; 最后, 利用三角測(cè)量原理、圖像處理等技術(shù)對(duì)獲取到的圖像數(shù)據(jù)進(jìn)行處理, 計(jì)算出物體表面的深度信息, 從而實(shí)現(xiàn)二維圖像到三維圖像的轉(zhuǎn)換。按照投影圖像的不同, 結(jié)構(gòu)光法可分為:點(diǎn)結(jié)構(gòu)光法、線結(jié)構(gòu)光法、面結(jié)構(gòu)光法、網(wǎng)絡(luò)結(jié)構(gòu)光和彩色結(jié)構(gòu)光。

3?? 陰影法

陰影法是一種簡(jiǎn)單、可靠、低功耗的重建物體三維模型的方法。這是一種基于弱結(jié)構(gòu)光的方法, 與傳統(tǒng)的結(jié)構(gòu)光法相比, 這種方法要求非常低, 只需要將一臺(tái)相機(jī)面向被燈光照射的物體, 通過(guò)移動(dòng)光源前面的物體來(lái)捕獲移動(dòng)的陰影, 再觀察陰影的空間位置, 從而重建出物體的三維結(jié)構(gòu)模型。

4?? TOF技術(shù)

TOF (Time of flight)法是主動(dòng)測(cè)距技術(shù)的一種, 可從發(fā)射極向物體發(fā)射脈沖光, 遇到物體反射后, 接收器收到反射光時(shí)停止計(jì)時(shí), 由于光和聲在空氣中的傳播速度是不變的, 從而通過(guò)發(fā)射到接收的時(shí)間差來(lái)確定物體的距離, 進(jìn)而確定產(chǎn)生的深度信息, 其原理如下式所示： 其中,?λ表示脈沖的波長(zhǎng);?表示波長(zhǎng)的個(gè)數(shù);?表示脈沖返回時(shí)的相位;?表示物體離發(fā)射之間的距離。 ? 5?? 雷達(dá)技術(shù) 雷達(dá)作為一種很常見(jiàn)的主動(dòng)視覺(jué)傳感器, 可以通過(guò)發(fā)射和接收的光束之間的時(shí)間差來(lái)計(jì)算物體的距離、深度等信息。原理如下式所示: 式中,?c為光速;?Δt為發(fā)射與接受的時(shí)間間隔;?表示雷達(dá)到物體之間的距離。 ?

6?? Kinect技術(shù)

Kinect傳感器是最近幾年發(fā)展比較迅速的一種消費(fèi)級(jí)的3D攝像機(jī), 它是直接利用鐳射光散斑測(cè)距的方法獲取場(chǎng)景的深度信息，Kinect傳感器如下圖所示.Kinect傳感器中間的鏡頭為攝像機(jī), 左右兩端的鏡頭被稱為3D深度感應(yīng)器, 具有追焦的功能, 可以同時(shí)獲取深度信息、彩色信息、以及其他信息等。Kinect在使用前需要進(jìn)行提前標(biāo)定, 大多數(shù)標(biāo)定都采用張正友標(biāo)定法。?

基于被動(dòng)視覺(jué)的三維重建技術(shù)

1?? 根據(jù)相機(jī)數(shù)目分類

基于被動(dòng)視覺(jué)的三維重建技術(shù)是通過(guò)視覺(jué)傳感器(一臺(tái)或多臺(tái)相機(jī))獲取圖像序列, 進(jìn)而進(jìn)行三維重建的一種技術(shù)。這種技術(shù)首先通過(guò)視覺(jué)傳感器(一臺(tái)或多臺(tái)相機(jī))獲取圖像序列, 然后提取其中有用的信息, 最后, 對(duì)這些信息進(jìn)行逆向工程的建模, 從而重建出物體的三維結(jié)構(gòu)模型。 ?

1.1? ?單目視覺(jué)法

單目視覺(jué)是僅使用一臺(tái)相機(jī)進(jìn)行三維重建的方法，為了進(jìn)一步表示空間中任意一個(gè)三維點(diǎn)P在世界坐標(biāo)系轉(zhuǎn)換到二維圖像坐標(biāo)系之間的關(guān)系, 關(guān)系坐標(biāo)可以表示為:

其中,?(XW,YW,ZW)為空間中的三維點(diǎn);?(R??t)稱為旋轉(zhuǎn)矩陣和平移向量；?fx和fy是攝像機(jī)在兩個(gè)方向上的焦距;?(u0,v0)是攝像頭主點(diǎn)在圖像坐標(biāo)系下的坐標(biāo);?(u,v)是圖像坐標(biāo)系下的坐標(biāo); 從而通過(guò)上式可以求解出任意空間一點(diǎn)的三維坐標(biāo).基于單目視覺(jué)的三維重建流程如下圖所示。

1.2?? 雙目視覺(jué)法

雙目視覺(jué)的工作原理來(lái)源于人類的雙目視覺(jué)系統(tǒng), 也就是說(shuō)從不同的視角通過(guò)兩個(gè)相同的相機(jī)捕獲同一個(gè)位置下的左右兩側(cè)圖像, 然后再利用三角測(cè)量原理獲取物體的深度信息, 通過(guò)這些深度信息重建出物體的三維模型。目前, 基于雙目視覺(jué)的三維重建方法是三維重建技術(shù)中的熱點(diǎn)和難點(diǎn)。

1)?平行式光軸雙目視覺(jué)系統(tǒng)是比較理想的一種系統(tǒng).在平行式光軸視覺(jué)系統(tǒng)中, 左右相機(jī)互相對(duì)齊, 它們的光軸也要互相平行, 形成一個(gè)共面的成像平面.由于左右相機(jī)只在軸上的位置不同, 而焦距等其他參數(shù)是相同的, 因此, 左右相機(jī)拍攝的同一物點(diǎn)所成的像分別在左右兩圖像上對(duì)應(yīng)的對(duì)集線上, 可以較好的實(shí)現(xiàn)立體匹配。

2)?匯聚式光軸雙目視覺(jué)系統(tǒng)是將平行式光軸雙目視覺(jué)系統(tǒng)中的左右相機(jī)分別繞光心順時(shí)針和逆時(shí)針旋轉(zhuǎn)一定角度, 從而形成匯聚式雙目視覺(jué)系統(tǒng)。

1.3?? 多目視覺(jué)法

多目視覺(jué)是雙目視覺(jué)的一種延伸, 它是在雙目視覺(jué)的基礎(chǔ)上, 增加一臺(tái)或者多臺(tái)攝像機(jī)作為輔助進(jìn)行測(cè)量, 從而獲得不同角度下同一物體的多對(duì)圖像。多目視覺(jué)法大多數(shù)的理論與雙目視覺(jué)法是相同的, 唯一不同的是, 多目視覺(jué)采用了三個(gè)或三個(gè)以上的攝像頭進(jìn)行環(huán)境中目標(biāo)物體的獲取.多目視覺(jué)的優(yōu)點(diǎn)是當(dāng)測(cè)量物體的表面傾斜的角度太大導(dǎo)致其中的一個(gè)或兩個(gè)CCD攝像機(jī)不能接收到漫反射光時(shí), 其他的攝像機(jī)可繼續(xù)工作。

2? ?根據(jù)匹配方法分類

三維環(huán)境重建技術(shù)一直是機(jī)器視覺(jué)和數(shù)字圖像處理領(lǐng)域的重點(diǎn)研究對(duì)象, 眾多學(xué)者針對(duì)三維環(huán)境重建提出了很多不同的算法。而圖像特征信息匹配的質(zhì)量在三維環(huán)境重建過(guò)程中起著十分關(guān)鍵的作用。圖像特征信息的匹配首先提取待重建圖像的匹配信息, 并使用相應(yīng)的算法在提取出的匹配信息集中尋找最佳匹配集, 根據(jù)最佳匹配集求解變換模型。根據(jù)匹配的方法不同可以分為區(qū)域視覺(jué)法和特征視覺(jué)法。

2.1?? 區(qū)域視覺(jué)法

區(qū)域視覺(jué)法就是基于區(qū)域立體匹配算法的三維重建技術(shù)。該算法利用對(duì)極幾何約束和連續(xù)性, 提高了稠密匹配的效率和三維重建的質(zhì)量。 ?

2.2?? 特征視覺(jué)法

基于特征視覺(jué)的三維重建技術(shù)其實(shí)就是通過(guò)相機(jī)獲取二維圖像, 然后提取圖像中的角點(diǎn)作為特征點(diǎn),?以雙目立體視覺(jué)理論為基礎(chǔ), 利用匹配算法, 獲得特征點(diǎn)匹配對(duì), 再通過(guò)三角測(cè)量原理獲取深度值, 從而獲得物體表面的三維模型。

3?? 根據(jù)應(yīng)用方法分類

基于被動(dòng)視覺(jué)的三維重建技術(shù)根據(jù)所選取方法不同, 所重建的效果有明顯差別, 但每種方法都有不同的優(yōu)點(diǎn)和缺點(diǎn)。因此, 根據(jù)應(yīng)用方法可以分為運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法和機(jī)器學(xué)習(xí)法。 ?

3.1?? 運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法

如果獲取的圖像是從多個(gè)視點(diǎn)捕獲的多張圖像, 可以通過(guò)匹配算法獲得圖像中相同像素點(diǎn)的對(duì)應(yīng)關(guān)系, 再利用匹配約束關(guān)系, 結(jié)合三角測(cè)量原理, 獲得空間點(diǎn)的三維坐標(biāo)信息, 進(jìn)而重建出物體的三維模型。這個(gè)過(guò)程被稱為運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法, 即SfM (Structure from motion)。運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法是通過(guò)三角測(cè)量原理來(lái)恢復(fù)場(chǎng)景的三維結(jié)構(gòu).這種方法不僅是三維重建的一種重要手段, 而且也是一種結(jié)構(gòu)測(cè)量的方法, 能夠廣泛地應(yīng)用在測(cè)繪、軍事偵查等領(lǐng)域.目前SfM主要分為兩類:增量式SfM 和全局式SfM 。 ?

3.2?? 機(jī)器學(xué)習(xí)法

機(jī)器學(xué)習(xí)其實(shí)就是使機(jī)器具有學(xué)習(xí)的能力, 從而不斷獲得新知識(shí)以及新技能得到有效提升.機(jī)器學(xué)習(xí)在三維環(huán)境重建中一直是重點(diǎn)研究對(duì)象, 因此, 根據(jù)機(jī)器學(xué)習(xí)可以分為常用的三種方法, 分別是統(tǒng)計(jì)學(xué)習(xí)法、神經(jīng)網(wǎng)絡(luò)法和深度學(xué)習(xí)與語(yǔ)義法。

1)?統(tǒng)計(jì)學(xué)習(xí)法：就是需要通過(guò)不斷地學(xué)習(xí)再學(xué)習(xí)的過(guò)程.該方法是以大型數(shù)據(jù)庫(kù)為基礎(chǔ), 例如, 人臉數(shù)據(jù)庫(kù)、場(chǎng)景數(shù)據(jù)庫(kù)等.首先, 這種方法需要對(duì)數(shù)據(jù)庫(kù)中的每一個(gè)目標(biāo)進(jìn)行特征統(tǒng)計(jì), 這些特征主要包括亮度、紋理、幾何形狀、深度等, 然后, 再對(duì)重建目標(biāo)的各種特征建立概率函數(shù), 最后, 計(jì)算重建目標(biāo)與數(shù)據(jù)庫(kù)中相似目標(biāo)的概率大小, 取概率最大的目標(biāo)深度為重建目標(biāo)的深度, 再使用差值計(jì)算和紋理映射進(jìn)行目標(biāo)的三維重建。

2) 神經(jīng)網(wǎng)絡(luò)法：基于神經(jīng)網(wǎng)絡(luò)法的三維重建是利用神經(jīng)網(wǎng)絡(luò)具有較好的泛函逼近能力, 能夠以任意的精度逼近任何非線性關(guān)系的優(yōu)點(diǎn)來(lái)進(jìn)行三維重建。

3) 深度學(xué)習(xí)與語(yǔ)義法：基于深度學(xué)習(xí)的三維重建最近幾年取得了非常大進(jìn)展, 是當(dāng)前計(jì)算機(jī)視覺(jué)領(lǐng)域比較流行的方法之一。學(xué)習(xí)系統(tǒng)是由多層卷積層和多層全連接層組成的卷積神經(jīng)網(wǎng)絡(luò)(CNN)進(jìn)行學(xué)習(xí)圖像的層次化特征表示, 這種方法能夠精確地重建出物體的幾何形狀?；谡Z(yǔ)義的三維重建可以運(yùn)用在移動(dòng)的行人或車輛等大的場(chǎng)景, 這種方法能夠精確地對(duì)環(huán)境中的目標(biāo)物體進(jìn)行識(shí)別, 而深度學(xué)習(xí)技術(shù)也是最近幾年剛剛興起的比較有優(yōu)勢(shì)的識(shí)別方法, 因此, 深度學(xué)習(xí)和語(yǔ)義相結(jié)合的三維重建是未來(lái)幾年的研究趨勢(shì), 也會(huì)受到該領(lǐng)域的研究者們廣泛關(guān)注。

編輯：黃飛

?