彩色濾波器陣列 – 在CIS設(shè)備上用貝爾 (Bayer) 濾色片生成每個像素的彩色
色域轉(zhuǎn)換 – 從RGB轉(zhuǎn)換為YUV
色度重采樣 – 將 YUV 像素轉(zhuǎn)換為更高效的像素編碼
應(yīng)用圖像校正算法，比如色彩校正或伽馬校正，或是進行圖像增強或降噪
在下游側(cè)我們可以配置視頻輸出時序，然后在輸出到指定的目標前轉(zhuǎn)換回本機并行輸出視頻格式

部分系統(tǒng)也使用外部內(nèi)存，例如DDR 的內(nèi)存作為幀存儲，在 SoC 內(nèi)部 DDR 內(nèi)存也往往提供給 SoC 的處理器側(cè)。共享內(nèi)存空間的能力讓系統(tǒng)監(jiān)視側(cè)能通過千兆位以太網(wǎng)或 USB 傳輸數(shù)據(jù)，或成為圖像處理鏈的延伸。

系統(tǒng)監(jiān)視

傳統(tǒng)上該功能實現(xiàn)在處理器內(nèi)部，能夠處理相關(guān)命令，以按應(yīng)用需求對圖像處理鏈進行配置。為接收和處理命令，系統(tǒng)監(jiān)視功能必須能夠支持從簡單的 RS232、千兆位以太網(wǎng)、USB、PCIe 到 CAN 汽車專用接口等一系列不同的通信接口。

只要嵌入式視覺系統(tǒng)的架構(gòu)能夠支持，我們就能使用處理器來生成圖像疊加信息，可供疊加在輸出圖像上。在能夠訪問圖像數(shù)據(jù)的條件下，我們也能夠使用處理器對圖像開展進一步處理，或是收集統(tǒng)計數(shù)據(jù)(像素值分布柱狀圖等)。這樣系統(tǒng)監(jiān)視就成為圖像處理鏈的一部分，讓開發(fā)人員能利用各種開源圖像處理庫，如OpenCV、OpenCL 和 OpenVX。

EVK使用實例

在闡明嵌入式視覺系統(tǒng)的基本元素后，下文將示范這些概念，展現(xiàn)如何綜合運用它們創(chuàng)建出可工作的系統(tǒng)。該實例將展示我們?nèi)绾问褂?a href="http://m.makelele.cn/tags/安富利/" target="_blank">安富利 MicroZed 嵌入式視覺套件 (EVK)創(chuàng)建嵌入式視覺系統(tǒng)。

該套件使用安森美 Python 1300C 成像設(shè)備和賽靈思 Zynq 7020。 Python 1300C 是一個 1280 像素×1024行的色彩圖像傳感器，通過 SPI 接口配置。此型號傳感器使用串行輸出實現(xiàn)高幀率，同時EVK 支持通過 HDMI 接口輸出圖像到顯示器。

Zynq 7020 為嵌入式視覺系統(tǒng)的實現(xiàn)提供了一個極好的平臺，因為我們能使用 FPGA 架構(gòu)中的可編程邏輯 (PL) 實現(xiàn)該設(shè)備的接口和圖像處理鏈。而 FPGA 架構(gòu)中的 ARM A9雙核處理器(即處理系統(tǒng) (PS))可用于根據(jù)我們的需要實現(xiàn)系統(tǒng)監(jiān)視功能和圖像處理鏈延伸。

為開發(fā)該應(yīng)用，我們將用到兩個 SoC 開發(fā)工具。一個是賽靈思 Vivado 2015.4，另一個是賽靈思SDK 2015.4。在 Vivado 中我們將實現(xiàn)設(shè)備的接口、圖像處理鏈，在 Zynq 內(nèi)配置 PS，建立 PS 到 PL 存儲器映射以完成下列操作：

根據(jù)圖像大小和幀速率所要求的參數(shù)以及所需操作在圖像處理鏈內(nèi)配置 IP。為此我們將在 PS和 PL 間使用通用 AXI 互聯(lián)，以 PS 為主設(shè)備。使用該接口我們能在 PS 和 PL 間實現(xiàn) 高達 1,200Mbps 的傳輸速率。

如有必要，將處理器的 DDR 內(nèi)存置于圖像處理鏈中，以便處理器訪問。為此我們將在 PL 和 PS 間使用高性能 AXI 互聯(lián)，以 PL 為主設(shè)備。使用該接口我們能在 PL 和 PS DDR 內(nèi)存間實現(xiàn)高達 2,400Mbps 的傳輸速率。

該演示將使用 HDMI 展示如何將圖像輸出到顯示器上。相當(dāng)有用的是，EVK 制造商安富利為Python 1300C 提供了一個設(shè)備接口 IP 模塊，并為在 EVK 上接口輸出到 HDMI 設(shè)備提供了一個 HDMI 輸出 IP 模塊。我們將本實例中使用所有這些模塊。在 Vivado 中我們可以使用 IPXact 格式把這些 IP 模塊添加到 Vivado IP 目錄中。

圖像處理鏈將與安森美設(shè)備接口并執(zhí)行下列處理階段，除了 Python 1300C 和 HDMI IP 核，所有使用的 IP 核均來自 Vivado 中的標準賽靈思圖像處理 IP 庫(實際 IP 核的名稱在下面顯示)：

圖1：圖像處理流程

將來自 Python 接口 IP 的并行視頻和水平及垂直同步轉(zhuǎn)換為 AXIS Stream，以便我們能夠?qū)⑵渑c后續(xù)的圖像處理IP核接口。 視頻輸入到 AXIS (Video in to AXIS)

彩色濾波器陣列使用貝爾濾色片為每個輸出像素賦予一個 RGB 值(僅以 R、G 或 B 表示)。彩色濾波器陣列插值 (Color Filter Array interpolation)

RGB 到 YUV色域轉(zhuǎn)換，將 RGB 色域轉(zhuǎn)換為 HDMI 驅(qū)動器優(yōu)選的 YUV 色域輸出格式。RGB 到 YCRCB色域轉(zhuǎn)換器 (RGB to YCRCB Color-Space Convertor)

將 YUV 從 4:4:4 格式重新縮放為 4:2:2 格式。 色度重采樣 (Chroma Resampler)

配置視頻 DMA 以傳輸圖像幀到 PS DDR。 AXI VDMA

配置同一視頻 DMA，以從 PS DDR 讀取圖像幀。 AXI VDMA

將 AXI Stream 轉(zhuǎn)換回并行格式。 AXIS 到視頻輸出

為輸出視頻時序提供時序參考生成器。 視頻時序控制器

除了確保系統(tǒng)正常運行，我們還需要兩個 AXI 互聯(lián)。一個是高性能 AXI 互聯(lián)，另一個是通用AXI 互聯(lián)，以及每個時鐘域所需的復(fù)位模塊。

圖像處理應(yīng)用需要一系列的時鐘域，大部分時鐘域我們可以使用 Zynq 內(nèi)部的 PS 提供給 PL的時鐘。就該應(yīng)用而言，我們需要下列時鐘：

108 MHz – 這是以 1280x1024 分辨率和 60 Hz幀速率輸出圖像所需的像素時鐘速率。

75 MHz – 用于存儲器映射的 AXI 和 AXI Lite 接口。