摘要

高反射面，例如玻璃、鏡子和水面，是深度傳感和三維（3D）成像中的常見場景。它們通常會導(dǎo)致深度感知的嚴(yán)重錯誤，例如倒影、虛像導(dǎo)致錯誤的深度測量。目前主流的3D相機(jī)，例如傳統(tǒng)的結(jié)構(gòu)光相機(jī)、立體視覺相機(jī)、時間飛行（ToF）相機(jī)等，在這類場景中都存在著明顯的不足。為了解決這些問題，博升光電團(tuán)隊設(shè)計了一種新型偏振結(jié)構(gòu)光3D相機(jī)。在發(fā)射端，設(shè)計高對比度光柵（high-contrast-grating，HCG）垂直腔面發(fā)射激光器（vertical-cavity surface-emitting lasers，VCSELs）用于提供具有強(qiáng)偏振選擇比的結(jié)構(gòu)光。在接收端，設(shè)計了裝有偏振片的紅外CMOS相機(jī)來選擇性地接收信號。經(jīng)過各種測試，在各種成像條件下該偏振結(jié)構(gòu)光相機(jī)都可以準(zhǔn)確獲取反射面場景的深度。

現(xiàn)狀

近幾十年來，如何讓探測器正確識別反射面一直是技術(shù)難點。許多技術(shù)，例如偏振成像、主動發(fā)射式探測器和聲納的融合、深度學(xué)習(xí)等，都一直致力于反射面的探測。然而，由于反射或多徑噪聲的影響，大多數(shù)這些技術(shù)在實際場景中使用并不魯棒和穩(wěn)健。

偏振成像通過對不同偏振角度反射強(qiáng)度的多幅圖像進(jìn)行分析，可以得到物體的三維形狀。它第一次用于確定反射表面的3D方向可以追溯到20世紀(jì)90年代。從那時起，偏振成像就開始被用于重建透明和鏡面物體的形狀。隨后，偏振成像與各種深度傳感器的結(jié)合，使其能夠獲得更好的重建效果。然而，偏振成像需要捕獲多個偏振圖像來估計相對深度，而且依賴于物體折射率的先驗知識，并不適用于通用場景的深度探測。而且，基于圖像的方法很容易受到物體反射倒影的影響，不能正確測量反射面的深度。

主動發(fā)射式的探測與成像，例如激光測距儀和結(jié)構(gòu)光相機(jī)，在深度傳感領(lǐng)域得到了廣泛的應(yīng)用。以激光測距儀為例，為了處理反射面，一些研究人員使用反射強(qiáng)度分布圖來確定玻璃區(qū)域。激光測距儀與聲納、偏振成像的融合也用于玻璃環(huán)境下的機(jī)器人導(dǎo)航研究。然而，這些方法需要掃描多個角度以確定反射面深度，因此它們主要路徑規(guī)劃并不適用于反射面的3D成像。對于結(jié)構(gòu)光相機(jī)，它們利用和聲納的融合來獲取玻璃場景的深度圖像。但是，由于聲納的數(shù)據(jù)稀疏、角度窄，需要多次掃描才能獲得足夠的信息。此外，與聲納的融合將會產(chǎn)生系統(tǒng)成本高、體積大、結(jié)構(gòu)復(fù)雜等問題。

深度學(xué)習(xí)領(lǐng)域近些年也不斷出現(xiàn)關(guān)于反射面檢測的工作。他們使用大量反射面圖像來訓(xùn)練網(wǎng)絡(luò)模型，然后輸入新的圖像進(jìn)行反射面區(qū)域識別。但這種方法也可能會把有框架或邊界的區(qū)域，比如沒有玻璃的空框架，誤認(rèn)為是反射面。因此，對于反射面環(huán)境的3D成像應(yīng)用，仍然需要一種魯棒的方法。

內(nèi)容

據(jù)麥姆斯咨詢報道，近期，博升光電團(tuán)隊開發(fā)出一種新型偏振結(jié)構(gòu)光（PSL）3D相機(jī)，在發(fā)射器（TX）和接收器（RX）上都具有偏振特性（圖1）。在TX中，高對比度光柵（HCG）垂直腔面發(fā)射激光器（VCSELs）是專門設(shè)計用于提供具有強(qiáng)偏振選擇比的結(jié)構(gòu)光。在RX中，設(shè)計了偏振選擇CMOS相機(jī)來選擇性地接收信號。根據(jù)菲涅耳理論，鏡面反射與入射偏振光保持相同的偏振。然而，漫反射面的反射即使被強(qiáng)偏振光入射也不表現(xiàn)出任何偏振。因此，使用偏振選擇CMOS相機(jī)可以區(qū)分反射面和其他物體，同時可以根據(jù)偏振方向的選擇來獲得反射面或其背后物體的深度信息（圖1b）。另外，根據(jù)TX和RX的偏振組合，還可以過濾掉反射噪聲的影響，獲取清晰的場景深度信息（圖1c）。本論文了進(jìn)行了三個實驗，以演示如何使用PSL 3D相機(jī)來實現(xiàn)看到以及看透反射面。

圖1 偏振結(jié)構(gòu)光3D傳感器原理

看透反射面實驗結(jié)果

首先，本論文以室內(nèi)玻璃門場景，來說明PSL 3D相機(jī)看透反射面的能力。如圖2所示PSL 3D相機(jī)正對玻璃門，距離從0.4 m到1.2 m不等。在玻璃門后面，有柜子和籃球。它們與玻璃的距離固定為0.5m。PSL 3D相機(jī)的TX向場景投射偏振光結(jié)構(gòu)光。然后結(jié)構(gòu)光被反射回RX，包含玻璃門和后方物體的深度信息。其中玻璃門的反射與TX保持相同的偏振，而柜子和籃球的反射光因漫反射而具有各種偏振方向。如圖2a的偏振0°所示，當(dāng)我們將RX設(shè)置為與TX偏振相同時，可以重構(gòu)玻璃門、柜子和籃球的深度信息。如圖2a的偏振90°所示，如果我們將RX旋轉(zhuǎn)到正交方向，則可以過濾玻璃部分，留下柜子和籃球的深度信息。同時，也測試了0.8m和1.2m的情況，看到和看透玻璃的功能都可以實現(xiàn)。

圖2 看透反射面實驗結(jié)果

抗反射噪聲成像實驗結(jié)果

接著，本論文在室外和室內(nèi)場景展示PSL 3D相機(jī)抗反射噪聲成像的特點（圖3）。首先展示室外玻璃場景（圖3a），在這種情況下，自然光在反射面上有較強(qiáng)的鏡面反射。從圖中可以看到，反射噪聲使立體視覺相機(jī)無法獲得場景的深度。然而，該噪聲具有較大的S偏振分量。因此，我們可以利用P偏振TX和RX來過濾這種噪聲，提高信噪比。如圖3c所示，在這種P偏振設(shè)置下，PSL 3D相機(jī)可以清晰地測量整個場景的深度。

圖3 抗反射噪聲成像實驗結(jié)果

在室內(nèi)場景，本論文分析了在墻角情況下的抗噪聲檢測能力。這種場景是室內(nèi)服務(wù)機(jī)器人常見的場景。如圖3d-3l所示，展示了在0.24m、0.4m和0.56m三種不同高度下，PSL 3D相機(jī)和傳統(tǒng)立體視覺3D相機(jī)的對比結(jié)果。可以看到，在這種情況下，由于多徑噪聲的影響，立體視覺相機(jī)（圖3e，3h，3k）會出現(xiàn)錯誤的深度判斷。而對于PSL 3D相機(jī)（圖3f，3i，3l），通過將TX和RX設(shè)置為P偏振，可以獲得完整且正確的墻角深度和點云。

補(bǔ)全反射面實驗結(jié)果

除了可以實現(xiàn)看透反射面和抗反射噪聲，PSL 3D相機(jī)還可以進(jìn)行反射面的補(bǔ)全。本論文選取了4個常見場景進(jìn)行實驗（圖4），其中包括陽臺玻璃、隔音室玻璃、球形玻璃和辦公室門玻璃。每一列對應(yīng)一個場景，首先在偏振度為0°和90°的情況下，取得兩幅深度圖像。在偏振度為0°的情況下，玻璃和其它漫反射部分都可以重構(gòu)，而在偏振度為90°的情況下，玻璃部分被消除。相比于立體視覺相機(jī)無法檢測到玻璃的深度，PSL 3D相機(jī)這種特別的變化可以作為確定反射面的可靠線索。因此，依靠第二第三行兩幅深度圖像的相減和第四行預(yù)測的玻璃邊界，相機(jī)就可以提取出屬于玻璃的深度，其結(jié)果展示在第五行。接著提取的玻璃點可以用來擬合和補(bǔ)全反射面。補(bǔ)全的深度圖像顯示在第七行，其中部分空的玻璃現(xiàn)在已被填充。最后兩行顯示了原始點云和補(bǔ)全點云的最終對比。在最后補(bǔ)全的點云中，反射面的3D重建結(jié)果正確，再次驗證了PSL 3D相機(jī)的特別之處。

圖4 補(bǔ)全反射面實驗結(jié)果

總結(jié)

綜上所述，博升光電團(tuán)隊發(fā)明了一種新型基于HCG-VCSEL的偏振結(jié)構(gòu)光3D相機(jī)，并提出了相應(yīng)的成像方法，用于反射面的各種場景的3D重建。作為機(jī)器人的眼睛，PSL 3D相機(jī)將在服務(wù)機(jī)器人和物流機(jī)器人等領(lǐng)域得到廣泛應(yīng)用。這些機(jī)器人將不可避免地遇到反射面的問題，例如報告實驗中所示的玻璃門和瓷磚墻角等。PSL 3D相機(jī)可以使他們正確處理這些情況。此外，反射面物體或場景重建，例如辦公室和展覽館等，也將受益于該方法。因此，憑借特殊的偏振特性，PSL 3D相機(jī)可以進(jìn)一步擴(kuò)展到廣泛的室內(nèi)和室外3D應(yīng)用。

編輯：黃飛

?