視頻對(duì)象運(yùn)動(dòng)檢測(cè)是從視頻序列中提取出有意義的運(yùn)動(dòng)對(duì)象，它是視頻檢索、多媒體內(nèi)容描述以及基于內(nèi)容的視頻編碼的基礎(chǔ)。連續(xù)幀間差分法 、背景差分法和光流法是視頻對(duì)象分割的常用方法。連續(xù)幀間差分法對(duì)于動(dòng)態(tài)環(huán)境有很好的適應(yīng)性，但不能完全提取出視頻對(duì)象的所有相關(guān)點(diǎn)；背景差分法能夠較完整地提取對(duì)象點(diǎn)，卻又對(duì)光照和外部條件造成的動(dòng)態(tài)場(chǎng)景變化過(guò)于敏感；光流法雖然能夠直接用于攝像機(jī)運(yùn)動(dòng)下的視頻對(duì)象檢測(cè)，但是大多數(shù)光流方法的計(jì)算復(fù)雜，不適于實(shí)時(shí)處理。將時(shí)域和空域信息進(jìn)行有效的融合就能夠得到更有效的結(jié)果，但還存在著目標(biāo)輪廓檢測(cè)的不完整性和目標(biāo)相關(guān)點(diǎn)保留較少的問(wèn)題。本文在應(yīng)用FPGA采樣得到視頻圖像的基礎(chǔ)上，提出了一種對(duì)Pan方法改進(jìn)的背景重建方法，進(jìn)一步的提高了視頻對(duì)象分割的效果。

1 硬件系統(tǒng)

系統(tǒng)原理圖

整個(gè)系統(tǒng)以FPGA和TUSB3210為核心，負(fù)責(zé)視頻數(shù)據(jù)的接收處理，啟動(dòng)A/D轉(zhuǎn)換，控制FIFO的讀寫(xiě)及采樣頻率的設(shè)定，與主機(jī)之間的通信及數(shù)據(jù)傳輸。

A/D、FIFO和USB控制芯片

視頻采集部分選用了Philips公司的視頻A/D轉(zhuǎn)換芯片SAA711A（EVIP），通過(guò)USB控制芯片提供的一對(duì)I2C引腳SDA和SCL進(jìn)行控制；FIFO采用采用TI公司SN74V293芯片，它的容量為65536×18bit 或131072×9bit，最快讀寫(xiě)周期為6ns，可以滿(mǎn)足100MHz采樣數(shù)據(jù)的存儲(chǔ)。

SN74V293有獨(dú)立的讀寫(xiě)時(shí)鐘控制電路，允許讀寫(xiě)操作同時(shí)進(jìn)行。SN74V293內(nèi)部有滿(mǎn)、空、半滿(mǎn)輸出信號(hào)以及可編程設(shè)定的幾乎滿(mǎn)和幾乎空輸出信號(hào)，通過(guò)這些信號(hào)控制器可以靈活控制FIFO的讀寫(xiě)操作。

USB控制芯片采用TI公司的TUSB3210，它是TI公司推出的內(nèi)嵌8052內(nèi)核并帶有USB接口的微控制器芯片。TUSB3210有256字節(jié)的內(nèi)部RAM，8K字節(jié)的程序RAM，512字節(jié)的USB數(shù)據(jù)緩沖和端點(diǎn)描述塊EDB（Endpoint Descriptor Blocks），4個(gè)通用的GPIO端口P0、P1、P2、P3，I2C接口電路，看門(mén)狗電路等。當(dāng)主機(jī)與芯片進(jìn)行USB通信時(shí)，會(huì)產(chǎn)生外部中斷0，通過(guò)中斷矢量寄存器判斷。通過(guò)定義Setup_packed_Int、Input_endpoint0_Int、Output_endpoint0_Int這三個(gè)中斷，用于與主機(jī)建立連接、進(jìn)行控制傳輸或中斷傳輸；Input_endpoint1_Int、Output_endpoint1_Int這兩個(gè)中斷主要在批量傳輸時(shí)使用。而在固件中分別執(zhí)行不同的中斷程序來(lái)實(shí)現(xiàn)USB的數(shù)據(jù)傳輸。

FPGA控制的實(shí)現(xiàn)

FPGA采用XINLINX公司的XC3142，PC終端通過(guò)USB口向視頻采集卡傳送start信號(hào)，通知視頻采集卡開(kāi)始工作。視頻信號(hào)通過(guò)CCD攝像頭進(jìn)入A/D轉(zhuǎn)換芯片SAA711A，SAA711A產(chǎn)生的數(shù)字視頻信號(hào)、控制信號(hào)和狀態(tài)信號(hào)送入控制處理芯片XC3142，以供XC3142獲得各種采樣信息，并對(duì)得到的數(shù)據(jù)與背景數(shù)據(jù)做差，然后將數(shù)字視頻信號(hào)寫(xiě)入到FIFO里面，當(dāng)FIFO里面的數(shù)據(jù)達(dá)到半滿(mǎn)（此處半滿(mǎn)狀態(tài)對(duì)應(yīng)視頻一幀的數(shù)據(jù)），F(xiàn)IFO半滿(mǎn)標(biāo)志為0（低電平），XC3142檢測(cè)到FIFO半滿(mǎn)標(biāo)志為0時(shí)，向USB控制芯片發(fā)送中斷（Interrupt）信號(hào)，PC終端獲得中斷請(qǐng)求后開(kāi)始從FIFO里面讀取數(shù)據(jù)。

2 USB接口的驅(qū)動(dòng)程序與應(yīng)用軟件開(kāi)發(fā)

USB應(yīng)用系統(tǒng)軟件開(kāi)發(fā)分為兩部分：主機(jī)操作系統(tǒng)上的客戶(hù)驅(qū)動(dòng)程序以及主機(jī)應(yīng)用軟件。主機(jī)應(yīng)用軟件通過(guò)客戶(hù)驅(qū)動(dòng)程序與系統(tǒng)USBI（USB Device Interface）進(jìn)行通信，由系統(tǒng)產(chǎn)生USB數(shù)據(jù)的傳送動(dòng)作；固件則響應(yīng)各種來(lái)自系統(tǒng)的USB標(biāo)準(zhǔn)請(qǐng)求，完成各種數(shù)據(jù)的交換工作和事件處理。

首先開(kāi)發(fā)TUSB3210在主機(jī)中的驅(qū)動(dòng)程序。利用WinDDK3.0開(kāi)發(fā)了Win2000下的驅(qū)動(dòng)程序，實(shí)現(xiàn)了控制傳輸、中斷傳輸和批傳輸?shù)臉?biāo)準(zhǔn)接口函數(shù)。在應(yīng)用程序開(kāi)發(fā)中，用VC++編制實(shí)現(xiàn)應(yīng)用程序。在編成實(shí)現(xiàn)中把USB設(shè)備當(dāng)成文件來(lái)操作，利用CreateFile得到USB句柄，用DeviceIoControl來(lái)進(jìn)行控制傳輸，用ReadFile、WriteFile進(jìn)行批量傳輸。

應(yīng)用軟件的結(jié)構(gòu)如圖2所示：

應(yīng)用軟件程序的基本流程如下：

1）打開(kāi)通信通道，即確定一個(gè)應(yīng)用對(duì)象，并對(duì)每個(gè)應(yīng)用對(duì)象創(chuàng)建一個(gè)系統(tǒng)對(duì)象。2）初始化硬件資源，即為每個(gè)系統(tǒng)對(duì)象分配數(shù)據(jù)緩存、數(shù)據(jù)采集器和數(shù)據(jù)顯示對(duì)象。3）啟動(dòng)采集過(guò)程，即將圖像讀入數(shù)據(jù)緩存，并將緩存賦值給數(shù)組，通過(guò)對(duì)數(shù)組的處理實(shí)現(xiàn)對(duì)圖像的處理，圖像數(shù)據(jù)與數(shù)據(jù)顯示相關(guān)聯(lián)后就可以通過(guò)顯示控件或窗體顯示預(yù)處理后的結(jié)果。

3 視頻對(duì)象分割算法在FPGA中的實(shí)現(xiàn)

視頻監(jiān)視系統(tǒng)的主要目的是跟蹤人們感興趣的視頻對(duì)象，一般情況下攝像機(jī)固定在室內(nèi)或者建筑物的高處，為此可認(rèn)為背景在一定時(shí)間內(nèi)靜止不動(dòng)。Pan 提出了一種基于背景信息的運(yùn)動(dòng)對(duì)象檢測(cè)方法［4］，使用高階統(tǒng)計(jì)量來(lái)重建背景，該方法能夠較好的檢測(cè)到運(yùn)動(dòng)對(duì)象，但是背景重建速度較慢，使得難以應(yīng)用于實(shí)際視頻監(jiān)視系統(tǒng)，為此本文提出了一種新的背景重建方法，并應(yīng)用VHDL語(yǔ)言在FPGA中實(shí)現(xiàn)了該算法，提高了背景重建速度。

背景圖像重建

在背景重建中，引入背景置信度圖像為C（x1，x2），它的掩膜圖像為MC（x1，x2），重建背景圖像為B（x1，x2），背景標(biāo)示圖像為BL（x1，x2）。如果C（x1，x2）大于預(yù)定的一個(gè)門(mén)限，則在視頻幀中像素（x1，x2）為背景的概率更大，如果小于該門(mén)限則像素（x1，x2）為運(yùn)動(dòng)對(duì)象的概率相對(duì)較大。BL（x1，x2）是一個(gè)二值圖像，用于標(biāo)示對(duì)應(yīng)像素的背景是否能重建，即：BL（x1，x2）＝1，表示（x1，x2） 像素背景成功重建，否則失敗。

考慮連續(xù)N幀圖像s（x1，x2，k），s（x1，x2，k-1），…，s（x1，x2，k-N），對(duì)應(yīng)的N-1個(gè)相鄰幀差圖像分別為d（x1，x2，k，k-1），d（x1，x2，k-1，k-2），…，d（x1，x2，k+1-N，k-N），則C（x1，x2），MC（x1，x2），B（x1，x2）和BL（x1，x2）的生成過(guò)程如下：

1） 初始化： 對(duì)每一個(gè)（x1，x2），C（x1，x2）=0 ，MC（x1，x2）=0，B（x1，x2）=0，BL（x1，x2）=0，n=0；

2） 考慮（x1，x2），如果MC（x1，x2）=1，至2）考慮下一個(gè)像素；否則至3）；

3） 對(duì)于（x1，x2），如果d（x1，x2，k-n，k-n-1）Th1，則C（x1，x2）=0；

4） 如果C（x1，x2）》Th2，則MC（x1，x2）=1，到5）；否則至6）；

5） B（x1，x2）=［ s（x1，x2，k-n）+…+ s（x1，x2，k-n+Th2）］/Th2，BL（x1，x2）=1；

6） 如果n 其中Th1和 Th2分別為預(yù)先設(shè)置的門(mén)限，本實(shí)驗(yàn)中Th1=20，Th2=10。

視頻對(duì)象分割

在視頻分割中本系統(tǒng)采用類(lèi)間方差閾值分割［5］法，這種方法是由最小二乘法推導(dǎo)得到的，此方法具有簡(jiǎn)單易于實(shí)現(xiàn)的優(yōu)點(diǎn)。

在后處理過(guò)程中，為了去除孤立點(diǎn)和填充空洞，在對(duì)視頻圖像幀差圖像閾值分割完成后，進(jìn)行數(shù)學(xué)形態(tài)學(xué)的開(kāi)、閉和區(qū)域標(biāo)示運(yùn)算。視頻對(duì)象分割試驗(yàn)結(jié)果如圖3所示。

圖3中a是一段視頻圖像列中的兩幀圖像；c是使用Pan方法的視頻對(duì)象實(shí)時(shí)分割結(jié)果；b是使用本文的方法的對(duì)象分割結(jié)果。比較圖3中 b、c可看出，本方法較Pan方法有更好的目標(biāo)輪廓完整性和目標(biāo)輪廓內(nèi)目標(biāo)相關(guān)點(diǎn)的連通性。本算法在普通PC機(jī)（Pentium3 800M CPU ，256M DDRAM）上運(yùn)行，視頻圖像為標(biāo)準(zhǔn)的CIF（288*384），256級(jí)灰度黑白圖像，利用本文算法其采集檢測(cè)速率為24幀/s，利用Pan方法的速率為10幀/s。

4 結(jié)論

利用FPGA和USB控制芯片實(shí)現(xiàn)了實(shí)時(shí)視頻監(jiān)視采集系統(tǒng)，結(jié)合背景重建的方法可以實(shí)現(xiàn)視頻圖像的實(shí)時(shí)連續(xù)采集（每秒采集24幀視頻圖像）和視頻對(duì)象分割的要求；改進(jìn)后的背景重建和視頻對(duì)象分割算法，較Pan方法有更好的檢測(cè)效果和更快的分割速度。

責(zé)任編輯：gt