電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>Netduino上的立體視覺

Netduino上的立體視覺

2512920 2022-11-08 | zip | 3.01 MB | 次下載 | 免費

普通下載普通下載

資料介紹

描述

立體視覺一直是提取 3D 信息的最復(fù)雜和資源密集的過程之一。Netduino 3 以太網(wǎng)板配備 Cortex-M4 168 Mhz 微處理器，能夠?qū)ι倭繄D像數(shù)據(jù)進行密集執(zhí)行。

該板還帶有 4 個可供使用的 UART 端口，非常適合串行通信相機。

我們能夠支持 OV528 協(xié)議與兩個串行相機進行通信并獲取兩張靜止物體的連續(xù)照片。在不久的將來，我們將應(yīng)用其中一種立體視覺算法從獲取的圖像中提取 3D 信息。

該系統(tǒng)分為兩部分：項目的第一部分將管理硬件并按需獲取立體圖像，然后項目的第二部分將在內(nèi)部計算所捕捉對象的 3D 坐標(biāo)。

成分

1 / 3 ? Netduino 3 以太網(wǎng)

電腦立體視覺系統(tǒng)

立體視覺系統(tǒng)由一對已知水平位移和對稱對齊的數(shù)碼相機組成。這些數(shù)碼相機同時獲取圖像并計算 3D 空間信息。

我們將兩個攝像頭連接到木尺上，以測試攝像頭之間的不同水平位移以及它如何影響 3D 計算測量值。目前我們所做的唯一檢查是將相機與它們的焦軸（鏡頭中心）分開 3 英寸。

該系統(tǒng)由兩個能夠捕捉高達 640x480 圖像的串行相機組成。我們選擇選擇 320x240 的分辨率，以便更輕松地處理數(shù)據(jù)。尺寸越小，所需的處理資源就越少。

1 / 3 ?幾個攝像頭對齊

目前，錄制過程是順序的：設(shè)置攝像頭進行捕獲，發(fā)送快照命令，最后將圖像緩沖區(qū)讀取到應(yīng)用程序。對攝像機 1 完成此過程，然后對攝像機 2 重復(fù)此過程。

圖像數(shù)據(jù)保存在 Netduino 3 的 SD 卡中。

if (_button.Read())
           {
               //Record image from camera 1
               Set4Capture(Camera1);
               Snap(Camera1);
               GetImage(Camera1);
               //Record image from camera 2
               Set4Capture(Camera2);
               Snap(Camera2);
               GetImage(Camera2);
           }

請注意，我們的目標(biāo)不是實時 3D 計算和顯示，而是更多用于 3D 掃描的對象建模。

UART通信

Netduino 3 最多支持 4 個 UART 通道。我們使用 UART COM1 和 UART COM2 連接相機。

.NET MicroFramework 通過定義一個事件回調(diào)函數(shù)來支持 UART 設(shè)備，當(dāng)系統(tǒng)通過一個活動端口接收到信息時將觸發(fā)該回調(diào)函數(shù)。

//Set event callback function  
       Camera2.DataReceived += SerialDataReceived;
       Camera1.DataReceived += SerialDataReceived;

事件函數(shù)定義如下。兩個攝像頭調(diào)用相同的事件函數(shù)并在內(nèi)部檢查以查看哪個實例進行了調(diào)用。

接收到的數(shù)據(jù)存儲在本地內(nèi)存數(shù)組中，然后移動到全局變量中，以便我們可以訪問它。接收到的數(shù)據(jù)量也被保存到一個全局變量中。

static void SerialDataReceived(object sender, SerialDataReceivedEventArgs e)
   {
       if ((e.EventType == SerialData.Chars) && (sender == Camera1))
       {
           const int BUFFER_SIZE = 1024;
           byte[] buffer = new byte[BUFFER_SIZE];
           int amount = ((SerialPort)sender).Read(buffer, 0, BUFFER_SIZE);
           if (amount > 0)
           {
               for (int index = 0; index < amount; index++)
               {
                   messageFromCam1[index] = buffer[index];
               }
               dataRead1 = true;
               dataSize1 = amount;
           }
       }
       else if ((e.EventType == SerialData.Chars) && (sender == Camera2))
       {
           const int BUFFER_SIZE = 1024;
           byte[] buffer = new byte[BUFFER_SIZE];
           int amount = ((SerialPort)sender).Read(buffer, 0, BUFFER_SIZE);
           if (amount > 0)
           {
               for (int index = 0; index < amount; index++)
               {
                   messageFromCam1[index] = buffer[index];
               }
               dataRead1 = true;
               dataSize1 = amount;
           }
       }
   }

發(fā)送命令并等待響應(yīng)后的事件同步仍然是我們尚未克服的挑戰(zhàn)。我們將研究信號量或臨界區(qū)。復(fù)雜性是由于董事會實現(xiàn)了一個循環(huán)調(diào)度程序，該調(diào)度程序在等待變量更改狀態(tài)時添加了無限循環(huán)。這可能會使進程死鎖并將事件進程設(shè)置為饑餓模式。我們將在了解如何同步事件后立即報告項目的第二部分。

與此同時，我們通過蠻力解決同步問題。換句話說，如果我們沒有收到我們期望的確認流，那么我們會再次發(fā)送命令，直到收到正確的響應(yīng)。您可以在下面的代碼中看到它。

           while (true)
           {
               clearBuffer(camDevice);
               sendCmd(camDevice, cmd, 6);
               cmdRet = readReply(camDevice, resp, ref dS2R);
               if (!cmdRet && dS2R < 6) continue;
               if (resp[0] == 0xaa && resp[1] == (0x0e | cameraAddr) && resp[2] == 0x0d && resp[4] == 0 && resp[5] == 0)
               {
                   if (dS2R == 12)
                   {
                       if (resp[6] == 0xaa && resp[7] == (0x0d | cameraAddr) && resp[8] == 0 && resp[9] == 0 && resp[10] == 0 && resp[11] == 0)
                           break;
                   }
               }
           }