摘要

真實(shí)物體完整形狀的數(shù)字化在智能制造、工業(yè)檢測(cè)和反向建模等領(lǐng)域具有重要的應(yīng)用價(jià)值。為了構(gòu)建剛性對(duì)象的完整幾何模型，對(duì)象必須相對(duì)于測(cè)量系統(tǒng)（或掃描儀必須相對(duì)于對(duì)象移動(dòng)），以獲取和集成對(duì)象的視圖，這不僅使系統(tǒng)配置復(fù)雜，而且使整個(gè)過程耗時(shí)。在這封信中，我們提出了一種高分辨率的實(shí)時(shí)360°三維(3D)模型重建方法，該方法允許人們手動(dòng)旋轉(zhuǎn)一個(gè)物體，并在掃描過程中看到一個(gè)不斷更新的三維模型。多視圖條紋投影輪廓測(cè)量系統(tǒng)從不同的角度獲取一個(gè)手持物體的高精度深度信息，同時(shí)將多個(gè)視圖實(shí)時(shí)對(duì)齊并合并在一起。我們的系統(tǒng)采用了立體相位展開和自適應(yīng)深度約束，可以在不增加捕獲圖案的數(shù)量的情況下，穩(wěn)健地展開密集條紋圖像的相位。然后，我們開發(fā)了一種有效的從粗到細(xì)的配準(zhǔn)策略來快速匹配三維表面段。實(shí)驗(yàn)結(jié)果表明，該方法可以在任意旋轉(zhuǎn)條件下重建復(fù)雜物體的高精度完整三維模型，而無需任何儀器輔助和昂貴的預(yù)/后處理。

引言

光學(xué)非接觸式三維(3D)形狀測(cè)量技術(shù)已廣泛應(yīng)用于工業(yè)檢測(cè)、智能制造、逆向工程等許多方面的[1]。邊緣投影輪廓測(cè)量(FPP)[2,3]由于其高測(cè)量精度、簡單的硬件配置和實(shí)現(xiàn)的靈活性，是最流行的三維成像技術(shù)之一。到目前為止，大多數(shù)關(guān)于FPP的研究都集中在單一角度的三維測(cè)量上。然而，在工業(yè)檢查和反向建模等應(yīng)用中，獲取所有對(duì)象的三維模型是至關(guān)重要的。然而，傳統(tǒng)的FPP系統(tǒng)由于其視場(chǎng)有限，無法在單次測(cè)量中獲得目標(biāo)的完整三維模型，因此需要對(duì)從多個(gè)視圖測(cè)量的數(shù)據(jù)進(jìn)行配準(zhǔn)。 為了從不同的視圖獲得和對(duì)齊物體的三維形狀，通常需要儀器輔助來執(zhí)行三維配準(zhǔn)[7–9]。常見的輔助儀器包括旋轉(zhuǎn)臺(tái)、機(jī)械臂和平面反射鏡。通過旋轉(zhuǎn)臺(tái)，通過旋轉(zhuǎn)臺(tái)軸的旋轉(zhuǎn)與成像系統(tǒng)[7]之間的關(guān)系，可以將多幀點(diǎn)云轉(zhuǎn)換為相同的坐標(biāo)系。但物體只能圍繞旋轉(zhuǎn)臺(tái)軸旋轉(zhuǎn)，難以獲取頂部、底部的三維數(shù)據(jù)。機(jī)械臂可以通過預(yù)置一個(gè)移動(dòng)路徑[8]來從更多的角度獲取信息。然而，機(jī)械臂的成本很高，輔助系統(tǒng)需要復(fù)雜的硬件連接，因此實(shí)現(xiàn)此類系統(tǒng)是困難的。帶有兩個(gè)鏡子的測(cè)量系統(tǒng)可以在一個(gè)測(cè)量中重建一個(gè)全景三維表面，因?yàn)樗鼈兺瑫r(shí)從三個(gè)角度捕捉目標(biāo)[9]。然而，由于透視信息有限，這類系統(tǒng)仍然無法獲得全尺度的三維測(cè)量。 由于昂貴的硬件設(shè)施、復(fù)雜的結(jié)構(gòu)或有限的視角信息，上述儀器輔助配準(zhǔn)方法并不是獲得360°3D模型的理想手段。理想的方法是在連續(xù)執(zhí)行實(shí)時(shí)三維配準(zhǔn)的同時(shí)，任意旋轉(zhuǎn)對(duì)象的三維數(shù)據(jù)。到目前為止，很少有人報(bào)道過這種方法，因?yàn)椋?）由于硬件技術(shù)和實(shí)時(shí)算法的限制，構(gòu)建基于FPP的動(dòng)態(tài)對(duì)象實(shí)時(shí)，高精度3D測(cè)量系統(tǒng)是困難的[4,10]; 無輔助儀器的不間斷實(shí)時(shí)高精度三維配準(zhǔn)是一個(gè)非常具有挑戰(zhàn)性的[11]。2002年，魯辛克維茨等人[12]提出了一種基于結(jié)構(gòu)光測(cè)距儀和迭代最近點(diǎn)(ICP)算法的實(shí)時(shí)變體的實(shí)時(shí)三維模型采集方法。與以前的方法相比，它允許用戶手動(dòng)旋轉(zhuǎn)一個(gè)對(duì)象，并看到一個(gè)不斷更新的模型，從而提供關(guān)于孔的存在和已被覆蓋的表面的即時(shí)反饋。然而，通過條紋邊界編碼策略獲得的點(diǎn)云相當(dāng)稀疏，使得三維數(shù)據(jù)積累過程的效率降低。此外，他們的配準(zhǔn)方法的精度較低，因?yàn)樗鼈兲^了傳統(tǒng)的儀器輔助粗配準(zhǔn)，直接進(jìn)行基于變異icp的精細(xì)配準(zhǔn)，而沒有得到良好的姿態(tài)估計(jì)。因此，要重建一個(gè)高精度的三維模型，就需要進(jìn)行耗時(shí)的后處理。 在這封信中，我們首次在沒有任何儀器輔助的情況下，實(shí)現(xiàn)了對(duì)物體的360°三維模型的實(shí)時(shí)采集，總體精度高達(dá)100μm級(jí)。用我們的方法，我們可以手工任意旋轉(zhuǎn)物體。由于從單一角度獲取對(duì)象的三維數(shù)據(jù)，可以自動(dòng)與前一幀的三維數(shù)據(jù)進(jìn)行實(shí)時(shí)配準(zhǔn)，并合并在一起，創(chuàng)建一個(gè)高精度的三維模型。

方法

為了實(shí)現(xiàn)實(shí)時(shí)的三維配準(zhǔn)，必須實(shí)時(shí)獲取每個(gè)視角的三維數(shù)據(jù)。FPP的兩種主流條紋分析方法分別是單鏡頭性質(zhì)的傅里葉變換輪廓測(cè)量[13,14]和相移輪廓測(cè)量(PSP)[15]，以較高的測(cè)量分辨率和精度而聞名。考慮到精度，我們選擇了后一種技術(shù)。由于運(yùn)動(dòng)會(huì)導(dǎo)致幀間的相位誤差，并打破PSP的基本假設(shè)，因此應(yīng)該采用盡可能少的條紋圖案的PSP。因此，采用了三步移相法。通過三步移相模式，可以很容易地獲得物體的包裹相位。為了展開相位，傳統(tǒng)的方法是使用時(shí)間相位展開技術(shù)[16]。然而，需要大量的輔助條紋圖案，這增加了對(duì)運(yùn)動(dòng)的靈敏度。在這封信中，我們使用立體相位展開(SPU)[17,18]方法來消除相位歧義，而不使用任何額外的輔助模式。

圖1：立體相位展開（SPU）原理圖 SPU的工作原理如圖1所示。對(duì)于相機(jī)1中的任意點(diǎn)oc1，它有N個(gè)可能的絕對(duì)相位，通過相機(jī)1和投影儀可以重建N個(gè)3D候選點(diǎn)。這些3D候選點(diǎn)可以投影到Camera2上得到N個(gè)2D候選點(diǎn)，其中必須有一個(gè)與oc1最相似的正確匹配點(diǎn)。然后進(jìn)行相位相似性檢查，找到匹配點(diǎn)，也可以解開oc1的包裹相位。然而，SPU不能穩(wěn)健地消除相位模糊，因?yàn)樵谠肼暫拖到y(tǒng)誤差的影響下，錯(cuò)誤的候選點(diǎn)的相位可能比正確的點(diǎn)更接近oc1，而邊緣頻率越高，那么這種情況發(fā)生的可能性就越大。自適應(yīng)深度約束(ADC)[19]策略可以通過實(shí)時(shí)測(cè)量結(jié)果提供一個(gè)像素級(jí)的深度范圍，并在很大程度上排除了錯(cuò)誤的3D候選對(duì)象。因此，我們使用ADC來提高SPU的穩(wěn)定性。 接下來，我們將討論實(shí)時(shí)、高精度的三維配準(zhǔn)。有兩種：（1）直接進(jìn)行精細(xì)配準(zhǔn)，（2）在粗配準(zhǔn)后進(jìn)行精細(xì)配準(zhǔn)。第一類方法直接使用ICP算法[20]及其改進(jìn)的變體。然而，由于缺乏合適的初始姿態(tài)估計(jì)，ICP效果不佳。此外，ICP通常需要花費(fèi)更高的配準(zhǔn)精度，并且不適用于實(shí)時(shí)場(chǎng)景。然而，在沒有儀器輔助的情況下，執(zhí)行快速粗配準(zhǔn)并不簡單。在這篇論文中，我們改進(jìn)了同步定位和映射(SLAM)算法[21]，用于機(jī)器人的定位和地圖構(gòu)建，以執(zhí)行粗配準(zhǔn)。將兩個(gè)相鄰的3D幀定義為幀1和幀2，它們具有對(duì)應(yīng)的2D紋理映射I1和I2，和相機(jī)坐標(biāo)系下的3D數(shù)據(jù)：

圖2 檢測(cè)到的2D特征點(diǎn)（a）通過SIFT和歐氏距離匹配的點(diǎn)（b）通過我們的方法優(yōu)化后的點(diǎn)

圖3 描述：（a）傳統(tǒng)PnP方法（b）我們問題的描述 在快速進(jìn)行二維匹配點(diǎn)識(shí)別后，利用求解多視角(PnP)問題的方法，可以快速得到相鄰三維幀之間的變換矩陣，這是一種常用的從三維參考點(diǎn)間的n個(gè)對(duì)應(yīng)關(guān)系中估計(jì)攝像機(jī)姿態(tài)的技術(shù)。獲取相機(jī)姿態(tài)的常規(guī)PnP問題如圖3(a)所示，即當(dāng)物體保持靜止時(shí)相機(jī)移動(dòng)，我們知道物體在世界坐標(biāo)系中的三維數(shù)據(jù)和相機(jī)移動(dòng)到位置2時(shí)的像素坐標(biāo)。在本文中，PnP問題可以看作是如何求解成像系統(tǒng)靜止時(shí)運(yùn)動(dòng)物體的變換矩陣，并知道物體移動(dòng)前的三維數(shù)據(jù)和物體移動(dòng)后的像素坐標(biāo)，如圖3(b)所示。我們采用EPnP方法[23]，這是一個(gè)PnP問題的非迭代解，由于其精度和效率的平衡來解決PnP問題，在視覺SLAM系統(tǒng)中被廣泛應(yīng)用。

圖4：結(jié)果：（a）粗配準(zhǔn)（b）精配準(zhǔn)

圖5：實(shí)時(shí)3D配準(zhǔn)的流程 實(shí)時(shí)三維配準(zhǔn)的整個(gè)過程如圖5所示。步驟1：利用SIFT算法找到二維匹配點(diǎn)，并利用相應(yīng)的三維數(shù)據(jù)對(duì)其進(jìn)行優(yōu)化；步驟2：采用EPnP方法得到變換矩陣；步驟3：粗配準(zhǔn)線程粗配準(zhǔn)點(diǎn)云，保留運(yùn)動(dòng)在30到50之間的結(jié)果；步驟4：如果累積運(yùn)動(dòng)達(dá)到閾值，在精細(xì)配準(zhǔn)線程中降采樣后執(zhí)行ICP算法，實(shí)現(xiàn)點(diǎn)云的精確配準(zhǔn)；步驟5：返回到步驟1，并重復(fù)上述過程。

實(shí)驗(yàn)

為了驗(yàn)證我們的算法的有效性，我們構(gòu)建了一個(gè)四相機(jī)3D成像系統(tǒng)，包括一個(gè)輕型4500Pro(100Hz速度)，三個(gè)用于SPU的acA640-750um相機(jī)（640×480分辨率）和一個(gè)用于彩色紋理的acA640-750uc相機(jī)。使用了48段PSP條紋。我們使用一臺(tái)HPZ230計(jì)算機(jī)(IntelXeonE3-1226v3CPU，NVIDIAQuadroK2200GPU)來開發(fā)我們基于OpenCV和PCL的算法。我們的軟件系統(tǒng)的接口是用Qt軟件開發(fā)的。該系統(tǒng)的成像速度為45Hz，單次掃描精度為45μm。

圖6：David 模型的場(chǎng)景以及配準(zhǔn)結(jié)果（整個(gè)過程請(qǐng)看可視化1）

圖7：David模型配準(zhǔn)后的結(jié)果（a）點(diǎn)云結(jié)果（b）（a）的三角化結(jié)果 在第一個(gè)實(shí)驗(yàn)中，我們?nèi)我庑D(zhuǎn)了David模型，實(shí)現(xiàn)了其360°建模。不同時(shí)間段的配準(zhǔn)結(jié)果和場(chǎng)景如圖6所示。單次粗配準(zhǔn)和細(xì)配準(zhǔn)的時(shí)間分別為0.4s和2s。整個(gè)模型的重建時(shí)間是70秒。圖7顯示了配準(zhǔn)后的結(jié)果，從中我們可以看到David模型的所有3D形狀都很好地對(duì)齊。實(shí)驗(yàn)結(jié)果表明，該方法可以實(shí)時(shí)獲得高質(zhì)量的360°手持物體三維模型。

圖8：David模型與陶瓷球配準(zhǔn)結(jié)果（a）,（b）：兩個(gè)視角的測(cè)量圖像（c），（d）相應(yīng)的配準(zhǔn)結(jié)果（e），（f）：球配準(zhǔn)的誤差分布 在第二次實(shí)驗(yàn)中，測(cè)量了兩個(gè)半徑分別為25.3989和25.4038mm的陶瓷球，中心間距離為100.0532mm。由于球體沒有二維特征，所以它們可以借助David模型進(jìn)行注冊(cè)。測(cè)量結(jié)果如圖8所示。對(duì)兩個(gè)球體的測(cè)量結(jié)果進(jìn)行了球面擬合。它們的誤差分布如圖所示。8(e)和8(f)。整個(gè)重建球的半徑分別為25.3580和25.3543mm，偏差分別為40.9μm和49.5μm。測(cè)量到的中心-中心距離為99.9345mm，誤差為118.7μm。本實(shí)驗(yàn)表明，該方法重建的整個(gè)三維模型的總體精度可達(dá)到100μm水平。

結(jié)論

總之，據(jù)我們所知，我們首次提出了一種基于FPP的高分辨率實(shí)時(shí)360°三維模型重建技術(shù)。與以往傳統(tǒng)的復(fù)雜、耗時(shí)的三維模型采集系統(tǒng)相比，我們的設(shè)計(jì)允許用戶手動(dòng)旋轉(zhuǎn)物體，并在被掃描物體時(shí)看到不斷更新的模型。最后，可以獲得一個(gè)精度高達(dá)100μm水平的完整的三維模型。這封信使低成本、高速、高精度、任意自動(dòng)的3D配準(zhǔn)、快速反饋和易于使用的全方位三維實(shí)時(shí)建模成為可能。我們相信，這封信將為360°的工業(yè)檢測(cè)和快速逆向成型打開一扇新的大門，并具有廣闊的應(yīng)用前景。

審核編輯 ：李倩