總所周知，完全集成的?2D?和?3D?數(shù)據(jù)很好，?歸功于?3D?點(diǎn)云帶有完整的?RGB?圖像。?在?2D?圖像中找到描述特征的像素后，可以直接將其與相同像素的?3D?數(shù)據(jù)相關(guān)聯(lián)。?所有這些信息都可以由?Zivid?彩色相機(jī)提供，因此只需一臺(tái)設(shè)備即可查看完整的工作。

從同一傳感器傳送所有場(chǎng)景信息可簡(jiǎn)化系統(tǒng)的整體設(shè)置。?例如，無需將外部?2D?彩色相機(jī)校準(zhǔn)到與?3D?相機(jī)相同的坐標(biāo)系。?所以，機(jī)器人安裝任務(wù)變得簡(jiǎn)單，可獲得所需的所有信息，并在所需環(huán)境中靈活成像。且動(dòng)態(tài)放置相機(jī)可以獲得場(chǎng)景的最佳成像位置。

今天向您展示一種有趣的方式來探索數(shù)據(jù)與高質(zhì)量?3D?點(diǎn)云相結(jié)合的實(shí)用性。?用大頭針觸碰氣球而不弄破它。

第?1?步：構(gòu)建檢測(cè)框架

圖?1：帶有深度著色的氣球點(diǎn)云

開始構(gòu)建系統(tǒng)，我們將專注于檢測(cè)方面。?第一個(gè)目標(biāo)是在?2D?圖像中找到氣球。?并沒有嘗試為此任務(wù)構(gòu)建一個(gè)完整的檢測(cè)算法，而是采用一種相當(dāng)基本的方法來檢查場(chǎng)景中的顏色值。?場(chǎng)景中的每個(gè)像素都有一個(gè)指定的?R、G、B?值。?這些中的每一個(gè)都有一個(gè)介于?0-255?之間的值，比較這些值可以指示像素具有哪種顏色。?這是一種相當(dāng)粗略的方法，但是可以接受的。?顏色值應(yīng)按預(yù)期分布：

紅色：R?>?200，G?

綠色：R??200，B?>?60

藍(lán)色：R?

黃色：R?>?200，G?>?200，B?

圖?2：氣球四種顏色的?2D?彩色圖像。

創(chuàng)建一個(gè)與原始圖像大小相同的二進(jìn)制掩碼。?1?值表示條件語句為真的區(qū)域，0?表示顏色為假的區(qū)域，這顯示為尋找下面的藍(lán)色氣球。

使用?OpenCV，我們可以對(duì)位掩碼進(jìn)行一些邊緣檢測(cè)，找到最大的黃色部分的輪廓并將其填充，顯示我們找到氣球表面的位置。?這個(gè)區(qū)域是目標(biāo)點(diǎn)位置的地方。?下一步將是找到正確的進(jìn)場(chǎng)方向。

圖?4：檢測(cè)到的氣球表面帶有青色的?2D?圖像。

借助?Zivid?提供的數(shù)據(jù)，我們可以在不做任何額外工作的情況下找出有關(guān)點(diǎn)云中每個(gè)點(diǎn)的大量信息。?現(xiàn)在我們有了想要觸摸的點(diǎn)的?XYZ?位置，我們可以找到該點(diǎn)的接近方向。?為此，我們可以使用?Zivid?SDK?提供的表面法線向量，并將其用作目標(biāo)方向的?Z?軸，以創(chuàng)建可以驅(qū)動(dòng)機(jī)器人到達(dá)的接近目標(biāo)。?這一步要記住的一個(gè)關(guān)鍵部分是機(jī)器人將要接近的目標(biāo)的?X?和?Y?方向。

圖?5：模擬捕獲顯示圍繞?Z?軸的兩個(gè)不同姿勢(shì)方向。

對(duì)于我們的案例，最佳做法是將?X?和?Y?方向?qū)R，使其與機(jī)器人的當(dāng)前位置和方向相似。?這使我們能夠?qū)z像頭保持在機(jī)器臂上側(cè)，并降低導(dǎo)致電纜拉傷或與機(jī)器人發(fā)生任何碰撞的風(fēng)險(xiǎn)。?由于相機(jī)與地板平行，因此可以參考相機(jī)坐標(biāo)系來幫助定義觸摸姿勢(shì)的?X?和?Y?向量。

在選取點(diǎn)的一側(cè)選擇一個(gè)點(diǎn)，以幫助定義用于定義姿勢(shì)的幫助向量。?然后我們可以對(duì)該向量進(jìn)行歸一化，并使用幫助向量和?Z?向量的叉積來定義?y?向量。?現(xiàn)在有相互垂直的?Y?和?Z?向量，可以使用通過叉積來找到位姿的最終?X?向量。?使用這三個(gè)向量，我們可以定義?4x4?齊次變換的旋轉(zhuǎn)矩陣。

圖?6：3D?渲染上目標(biāo)姿勢(shì)可視化的屏幕截圖

第?2?步：手眼標(biāo)定

一個(gè)永遠(yuǎn)不會(huì)過時(shí)的話題是執(zhí)行手眼標(biāo)定。為了從系統(tǒng)中獲得最佳精度，通過使用手眼校準(zhǔn)找到從相機(jī)幀到末端執(zhí)行器幀的轉(zhuǎn)換是絕對(duì)必要的。安裝時(shí)的任何小角度或變化都可能導(dǎo)致與?CAD?圖紙的輸出截然不同。?Zivid?具有?API?支持以及?CLI?工具，可用于在手眼和手眼設(shè)置中執(zhí)行手眼。本次使用的校準(zhǔn)目標(biāo)是?ZVD-CB01?校準(zhǔn)目標(biāo)。此目標(biāo)用于手眼和內(nèi)場(chǎng)校正。為了在您的設(shè)置中獲得最佳性能，建議在執(zhí)行手眼標(biāo)定之前執(zhí)行內(nèi)場(chǎng)校正。

每次相機(jī)被碰撞、敲擊或從進(jìn)行手眼的位置移開時(shí)，都必須再次進(jìn)行手眼標(biāo)定。安裝連接中的微米級(jí)移動(dòng)或幾分之一度的變化就會(huì)引起手眼變換。所以，遵守?cái)?shù)據(jù)表中提供的?Zivid?安裝硬件推薦的密封性指南非常重要。

第?3?步：使用手眼標(biāo)定

從手眼標(biāo)定返回的變換是?4x4?齊次變換矩陣的形式。這將用于該項(xiàng)目數(shù)學(xué)中的所有轉(zhuǎn)換的格式。手眼變換可以與拾取點(diǎn)?4x4?矩陣相乘，將點(diǎn)位置轉(zhuǎn)換為末端執(zhí)行器框架，然后可以通過將其與機(jī)器人的位姿相乘將其轉(zhuǎn)換為機(jī)器人基礎(chǔ)框架，也可以作為?4x4轉(zhuǎn)換。這會(huì)將?TCP（工具中心點(diǎn)）需要移動(dòng)到的點(diǎn)放置到基礎(chǔ)框架中，然后機(jī)器人可以被驅(qū)動(dòng)到該點(diǎn)。有了這個(gè)，你就有了一個(gè)氣球觸摸機(jī)器人！

使用?Zivid?相機(jī)，可以簡(jiǎn)化任務(wù)以查找和定位環(huán)境中的重要的內(nèi)容。我們的主要目標(biāo)之一是盡可能地簡(jiǎn)化過程。如果您對(duì)如何與?Zivid?SDK?交互有任何其他疑問，請(qǐng)聯(lián)系美城工作人員！

上海美城智能科技有限公司為行業(yè)提供領(lǐng)先的成像和視覺系統(tǒng)解決方案，高品質(zhì)的成像和視覺產(chǎn)品，以及專業(yè)化一體化的服務(wù)。公司致力于3D成像應(yīng)用場(chǎng)景化研發(fā)，推動(dòng)行業(yè)的3D應(yīng)用發(fā)展，深度覆蓋工業(yè)、國(guó)防、科研、交通、3D交互和生命科學(xué)等行業(yè)。豐富的全球化合作資源和自主研發(fā)技術(shù)相結(jié)合，為客戶打造優(yōu)質(zhì)的產(chǎn)品和方案。

審核編輯：符乾江