隨之3D相機(jī)在工業(yè)AI的普及，深度學(xué)習(xí)對(duì)3D點(diǎn)云和深度圖的分析方法也越來(lái)越多樣化。在3D計(jì)算機(jī)圖形中，Depth Map（深度圖）是包含與視點(diǎn)的場(chǎng)景對(duì)象的表面的距離有關(guān)的信息的圖像或圖像通道。

其中，Depth Map 類似于灰度圖像，只是它的每個(gè)像素值是傳感器距離物體的實(shí)際距離。通常RGB圖像和Depth圖像是配準(zhǔn)的，因而像素點(diǎn)之間具有一對(duì)一的對(duì)應(yīng)關(guān)系，合成的四通道的圖像稱為RGB-D圖像。

在業(yè)內(nèi)，不少工作已經(jīng)將CNN引入在RGB-D圖像上的視覺(jué)任務(wù)上，這些工作中一部分直接采用4-channel的圖像來(lái)進(jìn)行語(yǔ)義分割。我們可以將3D點(diǎn)云做正射糾正，生成對(duì)應(yīng)的深度圖。再將2D圖像做同樣的仿射糾正，合成RGB-D圖像。我們可以壓縮數(shù)據(jù)量，將RGB圖像換成灰度圖，實(shí)際數(shù)據(jù)的通道數(shù)就只有兩個(gè)。

在本項(xiàng)目的深度學(xué)習(xí)模型中，需要輸入是3通道，就要附加上全為0置的通道，而在Deep Learning的模型上增加通道注意力機(jī)制，能減少第三通道的計(jì)算。兩通道的圖片，在標(biāo)注工具里，只有一個(gè)通道可見(jiàn)，而三通道圖片帶來(lái)額外的好處，在標(biāo)注工具里是彩色的。

案例優(yōu)勢(shì)

一、深度學(xué)習(xí)和傳統(tǒng)算法分別都做不到0%漏判的情況下，如果互相結(jié)合，那么還是能夠做到0漏判。舉焊偏的例子，

在毛刺不作為缺陷標(biāo)準(zhǔn)的情況下，Mark孔被毛刺遮蓋，用傳統(tǒng)算法就會(huì)得到焊偏的誤判。使用深度學(xué)習(xí)，無(wú)論是語(yǔ)意分割還是目標(biāo)檢測(cè)，都能檢出部分Mark孔，達(dá)到0漏判。另外，用深度學(xué)習(xí)語(yǔ)義分割焊跡，效果穩(wěn)定，不受測(cè)量距離變動(dòng)、亮度變化、亮邊的影響，分割精細(xì)?？蛊渌蓴_性能也很強(qiáng)，比如抗彩筆的標(biāo)記干擾能力強(qiáng)，得到的區(qū)域可用于測(cè)量焊寬。

傳統(tǒng)算法的mIoU只有99%，而深度學(xué)習(xí)的mIoU達(dá)到99.89%。

二、新生產(chǎn)的產(chǎn)品，深度學(xué)習(xí)的樣本量少，訓(xùn)練效果不是最佳，但隨著樣本量增加，增量學(xué)習(xí)，效果會(huì)不斷提高。

三、在含有高度圖的多通道圖中，額外增加注意力機(jī)制必不可少，同時(shí)可以增加空間注意力，特征圖融合。下圖是神經(jīng)網(wǎng)絡(luò)的改造設(shè)計(jì)：

本案例產(chǎn)品界面

? ? ?

來(lái)源丨三維外觀缺陷檢測(cè)

?

?

審核編輯：劉清