1 什么是三維重建

在計(jì)算機(jī)視覺中，三維重建是指根據(jù)單視圖或者多視圖的圖像重建三維信息的過程。由于單視頻的信息不完全，因此三維重建需要利用經(jīng)驗(yàn)知識(shí)，而多視圖的三維重建(類似人的雙目定位)相對(duì)比較容易，其方法是先對(duì)攝像機(jī)進(jìn)行標(biāo)定，即計(jì)算出攝像機(jī)的圖像坐標(biāo)系與世界坐標(biāo)系的關(guān)系，然后利用多個(gè)二維圖像中的信息重建出三維信息。

2 重建的結(jié)果如何表達(dá)

1、深度圖 (depth)每個(gè)像素值代表的是物體到相機(jī)xy平面的距離，由深度攝像頭獲取2、點(diǎn)云(point cloud)某個(gè)坐標(biāo)系下的點(diǎn)的數(shù)據(jù)集，由三維激光雷達(dá)獲取3、網(wǎng)格(mesh)全部由三角形組成的多邊形網(wǎng)格

4、體素 (voxel)三維空間中的一個(gè)有大小的點(diǎn)，一個(gè)小方塊，相當(dāng)于是三維空間種的像素。

3 如何實(shí)現(xiàn)整個(gè)重建過程

image.png

3.1 深度圖像的獲取

景物的深度圖像由Kinect在Windows平臺(tái)下拍攝獲取，同時(shí)可以獲取其對(duì)應(yīng)的彩色圖像。為了獲取足夠多的圖像，需要變換不同的角度來拍攝同一景物，以保證包含景物的全部信息。具體方案既可以是固定Kinect傳感器來拍攝旋轉(zhuǎn)平臺(tái)上的物體；也可以是旋轉(zhuǎn)Kinect傳感器來拍攝固定的物體。

推薦學(xué)習(xí)3D視覺工坊三維點(diǎn)云課程：

[1]三維點(diǎn)云處理：算法與實(shí)戰(zhàn)匯總? ?

[2]徹底搞懂基于Open3D的點(diǎn)云處理教程！

3.2 預(yù)處理

受到設(shè)備分辨率等限制，它的深度信息也存在著許多缺點(diǎn)。為了更好的促進(jìn)后續(xù)基于深度圖像的應(yīng)用，必須對(duì)深度圖像進(jìn)行去噪和修復(fù)等圖像增強(qiáng)過程。目前深度相機(jī)輸出的depth圖還有很多問題，比如對(duì)于光滑物體表面反射、半/透明物體、深色物體、超出量程等都會(huì)造成深度圖缺失。而且很多深度相機(jī)是大片的深度值缺失，這對(duì)于算法工程師來說非常頭疼。

3.3 計(jì)算點(diǎn)云數(shù)據(jù)

整個(gè)計(jì)算過程實(shí)際上是從世界坐標(biāo)系到像素坐標(biāo)系（不考慮畸變）的過程，用一幅圖來總結(jié)其轉(zhuǎn)換關(guān)系：

世界坐標(biāo)系：描述環(huán)境中任何物體的位置。

相機(jī)坐標(biāo)系：在相機(jī)上建立的坐標(biāo)系，為了從相機(jī)的角度描述物體位置而定義，作為溝通世界坐標(biāo)系和圖像/像素坐標(biāo)系的中間一環(huán)。單位為m。以相機(jī)的光心為坐標(biāo)原點(diǎn)，X 軸和Y 軸分別平行于圖像坐標(biāo)系的 X 軸和Y 軸，相機(jī)的光軸為Z 軸，用（Xc, Yc, Zc）表示其坐標(biāo)值。

圖像坐標(biāo)系(image coordinate system)：描述物體從相機(jī)坐標(biāo)系到圖像坐標(biāo)系的投影透射關(guān)系，方便進(jìn)一步得到像素坐標(biāo)系下的坐標(biāo)。以圖像平面的中心為坐標(biāo)原點(diǎn)，X軸和Y 軸分別平行于圖像平面的兩條垂直邊，用( x , y )表示其坐標(biāo)值。圖像坐標(biāo)系是用物理單位（例如毫米）表示像素在圖像中的位置。

像素坐標(biāo)系(pixel coordinate system)：描述物體成像后的像點(diǎn)在數(shù)字圖像上（相片）的坐標(biāo)，是我們真正從相機(jī)內(nèi)讀取到的信息所在的坐標(biāo)系。單位為個(gè)（像素?cái)?shù)目）。以圖像平面的左上角頂點(diǎn)為原點(diǎn)，X 軸和Y 軸分別平行于圖像坐標(biāo)系的 X 軸和Y 軸，用(u , v )表示其坐標(biāo)值。數(shù)碼相機(jī)采集的圖像首先是形成標(biāo)準(zhǔn)電信號(hào)的形式，然后再通過模數(shù)轉(zhuǎn)換變換為數(shù)字圖像。每幅圖像的存儲(chǔ)形式是M × N的數(shù)組，M 行 N 列的圖像中的每一個(gè)元素的數(shù)值代表的是圖像點(diǎn)的灰度。這樣的每個(gè)元素叫像素，像素坐標(biāo)系就是以像素為單位的圖像坐標(biāo)系。

3.4 點(diǎn)云配準(zhǔn)

對(duì)于多幀通過不同角度拍攝的景物圖像，各幀之間包含一定的公共部分。為了利用深度圖像進(jìn)行三維重建，需要對(duì)圖像進(jìn)行分析，求解各幀之間的變換參數(shù)。深度圖像的配準(zhǔn)是以場(chǎng)景的公共部分為基準(zhǔn)，把不同時(shí)間、角度、照度獲取的多幀圖像疊加匹配到統(tǒng)一的坐標(biāo)系中。計(jì)算出相應(yīng)的平移向量與旋轉(zhuǎn)矩陣，同時(shí)消除冗余信息。點(diǎn)云配準(zhǔn)除了會(huì)制約三維重建的速度，也會(huì)影響到最終模型的精細(xì)程度和全局效果。因此必須提升點(diǎn)云配準(zhǔn)算法的性能。三維深度信息的配準(zhǔn)按不同的圖像輸入條件與重建輸出需求被分為：粗糙配準(zhǔn)、精細(xì)配準(zhǔn)和全局配準(zhǔn)等三類方法。配準(zhǔn)過程中，匹配誤差被均勻的分散到各個(gè)視角的多幀圖像中，達(dá)到削減多次迭代引起的累積誤差的效果。值得注意的是，雖然全局配準(zhǔn)可以減小誤差，但是其消耗了較大的內(nèi)存存儲(chǔ)空間，大幅度提升了算法的時(shí)間復(fù)雜度。

3.5 數(shù)據(jù)融合

經(jīng)過配準(zhǔn)后的深度信息仍為空間中散亂無序的點(diǎn)云數(shù)據(jù)（如下圖），僅能展現(xiàn)景物的部分信息。因此必須對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行融合處理，以獲得更加精細(xì)的重建模型。

以Kinect傳感器的初始位置為原點(diǎn)構(gòu)造體積網(wǎng)格，網(wǎng)格把點(diǎn)云空間分割成極多的細(xì)小立方體，這種立方體叫做體素(Voxel)。為了解決體素占用大量空間的問題，提出了TSDF (Truncated Signed Distance Field，截?cái)喾?hào)距離場(chǎng))算法（如下圖），該方法只存儲(chǔ)距真實(shí)表面較近的數(shù)層體素，而非所有體素。因此能夠大幅降低KinectFusion的內(nèi)存消耗，減少模型冗余點(diǎn)。

通過為所有體素賦予TSDF（Truncated Signed Distance Field，截?cái)嘤行Ь嚯x場(chǎng)）值，來隱式的模擬表面。下圖所示，計(jì)算出TSDF值，即此體素到重建表面的最小距離值。當(dāng)TSDF值大于零，表示該體素在表面前；當(dāng)TSDF小于零時(shí)，表示該體素在表面后；當(dāng)TSDF值越接近于零，表示該體素越貼近于場(chǎng)景的真實(shí)表面。于是形成重建的表面。

4 三維重建的經(jīng)典算法

4.1 泊松算法

1、原理基于八叉樹和泊松方程的一種網(wǎng)格三維重建算法，利用指示函數(shù)，可以對(duì)空間內(nèi)部的所有有效指示函數(shù)實(shí)現(xiàn)梯度計(jì)算，通過求解這個(gè)函數(shù)提取等值面，得到表面的過程，即構(gòu)建泊松方程并對(duì)其求解的過程。2、算法流程

3、核心代碼

?//----------------------------------法線估計(jì)------------------------------------
????pcl::NormalEstimation?n;//法線估計(jì)對(duì)象
????pcl::PointCloud::Ptr?normals(new?pcl::PointCloud);//存儲(chǔ)估計(jì)的法線
????pcl::KdTree::Ptr?tree(new?pcl::KdTree);
????tree->setInputCloud(cloud);
????n.setInputCloud(cloud);
????n.setSearchMethod(tree);
????n.setKSearch(10);
????n.compute(*normals);
????//-------------------------------連接法線和坐標(biāo)---------------------------------
????pcl::PointCloud::Ptr?cloud_with_normals(new?pcl::PointCloud);
????pcl::concatenateFields(*cloud,?*normals,?*cloud_with_normals);
????//---------------------------------泊松重建-------------------------------------
????pcl::KdTree::Ptr?tree2(new?pcl::KdTree);
????tree2->setInputCloud(cloud_with_normals);
????pcl::Poisson?pn;
????pn.setSearchMethod(tree2);
????pn.setInputCloud(cloud_with_normals);
????pn.setDepth(6);??????????????//?設(shè)置將用于表面重建的樹的最大深度
????pn.setMinDepth(2);
????pn.setScale(1.25);???????????//?設(shè)置用于重建的立方體的直徑與樣本的邊界立方體直徑的比值
??? pn.setSolverDivide(3);???????//?設(shè)置塊高斯-塞德爾求解器用于求解拉普拉斯方程的深度。精度
????pn.setIsoDivide(6);??????????//?設(shè)置塊等表面提取器用于提取等表面的深度?平滑度
????pn.setSamplesPerNode(10);????//?設(shè)置每個(gè)八叉樹節(jié)點(diǎn)上最少采樣點(diǎn)數(shù)目?八叉樹節(jié)點(diǎn)上的采樣點(diǎn)數(shù)速度
????pn.setConfidence(false);?????//?設(shè)置置信標(biāo)志，為true時(shí)，使用法線向量長(zhǎng)度作為置信度信息，false則需要對(duì)法線進(jìn)行歸一化處理
????pn.setManifold(false);???????//?設(shè)置流行標(biāo)志，如果設(shè)置為true，則對(duì)多邊形進(jìn)行細(xì)分三角話時(shí)添加重心，設(shè)置false則不添加
????pn.setOutputPolygons(false);?//?設(shè)置是否輸出為多邊形(而不是三角化行進(jìn)立方體的結(jié)果)。

4、結(jié)果展示

4.2 凸包算法

1、算法流程給出三維空間中的n個(gè)頂點(diǎn)，求解由這n個(gè)頂點(diǎn)構(gòu)成的凸包表面

1）首先任選4個(gè)點(diǎn)形成的一個(gè)四面體(初始凸包)然后每次新加一個(gè)點(diǎn)P分兩種情況：a. P在凸包內(nèi)，則可以跳過。b. P在凸包外，對(duì)于某邊，找到從這個(gè)點(diǎn)可以“看見”的包含該邊的面S（能不能看見可以用法向量來計(jì)算，看點(diǎn)是否在面外側(cè)），刪除這些面S，然后用S的除該邊外的另外兩邊與點(diǎn)P新構(gòu)成兩個(gè)面。這樣遍歷所有邊，就將P加入該凸包中，并形成了新的凸包。2）遍歷所有點(diǎn)，最后得到整個(gè)點(diǎn)集的凸包。

2、核心代碼

//---------------------對(duì)上述點(diǎn)云構(gòu)造凸包-----------------------
?pcl::ConvexHull?hull;??//創(chuàng)建凸包對(duì)象
?hull.setInputCloud(cloud);????????????//設(shè)置輸入點(diǎn)云
?hull.setDimension(3);?????????????????//設(shè)置輸入數(shù)據(jù)的維度(2D或3D)
?vector?polygons;???????//設(shè)置pcl:Vertices類型的向量，用于保存凸包頂點(diǎn)

?pcl::PointCloud::Ptr?surface_hull(new?pcl::PointCloud);//該點(diǎn)云用于描述凸包形狀
?
?hull.setComputeAreaVolume(true);???????//設(shè)置為真，則調(diào)用qhr庫(kù)來計(jì)算凸包的總面積和體積
?hull.reconstruct(*surface_hull,?polygons);//計(jì)算3D凸包結(jié)果
?float?Area?=?hull.getTotalArea();??????//獲取凸包的總面積
?float?Volume?=?hull.getTotalVolume();??//獲取凸包的總體積
?cout?<

	3、結(jié)果展示

	

	

	4.3 凹包算法

	1、原理在三維層面上來講，該算法我們可以想象為一個(gè)球在一堆點(diǎn)集中進(jìn)行滾動(dòng)，符合條件的三個(gè)點(diǎn)即會(huì)構(gòu)成一個(gè)多邊形，這個(gè)條件是一種“空球法則” (類似于空?qǐng)A法則)，也就是說這個(gè)球除三個(gè)基本點(diǎn)之外不會(huì)包含其他的點(diǎn)。

	

	

	從右圖中可以看出，球并沒有滾到P11和P12兩個(gè)點(diǎn)，那么這時(shí)我們猜想：如果縮小球的半徑，是否就可以遍歷更多的點(diǎn)，從而輸出的點(diǎn)云就更加的清晰完整呢？2、核心代碼
pcl::ConcaveHull?cavehull;?
?cavehull.setInputCloud(cloud);????????
?cavehull.setAlpha(0.001);????????????
?vector?polygons;???????
?cavehull.reconstruct(*surface_hull,?polygons);//?重建面要素到點(diǎn)云


	3、結(jié)果展示設(shè)置半徑分別為0.5、0.1、0.05、0.02時(shí)，得到下面四種結(jié)果

	

	因此，之前的猜想是正確的。

	除此三種重建算法外，還有貪婪、Delaunay三角剖分算法等等。

	編輯：黃飛