嵌入式人體步態(tài)自動(dòng)識(shí)別系統(tǒng)

0 引言
??? 早期的醫(yī)學(xué)研究指出：人的步態(tài)中有24種不同的成分，如果把這24種成分都考慮到，則步態(tài)是為個(gè)體所特有的。有關(guān)研究人員近些年來通過對人的步態(tài)分析，已經(jīng)得出了在步態(tài)視頻序列中含有人的身份信息，因此進(jìn)行步態(tài)識(shí)別也是一種非常重要的生物識(shí)別技術(shù)。步態(tài)識(shí)別是近年來越來越多的研究者所關(guān)注的一種較新的生物認(rèn)證技術(shù)，它是通過人的走路方式來識(shí)別人的身份?；诓綉B(tài)的身份認(rèn)證識(shí)別技術(shù)相對于其它生物識(shí)別技術(shù)有如下優(yōu)點(diǎn)：遠(yuǎn)距離識(shí)別、識(shí)別對象的被動(dòng)性、不易被隱藏、不易被察覺、應(yīng)用領(lǐng)域廣闊等，步態(tài)識(shí)別技術(shù)最近已經(jīng)備受關(guān)注，并且已經(jīng)取得了一些初步成果。如美國國防部研究項(xiàng)目署(DARPA)2000年的重大項(xiàng)目一HID(human identification at adistance)計(jì)劃，其目的就是開發(fā)多模態(tài)視覺監(jiān)控技術(shù)以實(shí)現(xiàn)遠(yuǎn)距離情況下人物的檢測、分類和識(shí)別。中科院自動(dòng)化研究所模式識(shí)別國家重點(diǎn)實(shí)驗(yàn)室近年也開始了對步態(tài)識(shí)別的研究，而且創(chuàng)建了NLPR步態(tài)數(shù)據(jù)庫。
??? 雖然步態(tài)識(shí)別是一個(gè)新興的研究領(lǐng)域，但是近年來已經(jīng)涌現(xiàn)出了一些嘗試性的工作。最早提出步態(tài)識(shí)別算法的是Niyogi與Adelson等人。Cunado和Nixon等人提出了一種基于模型的特征提取分析方法，VHT(velocity hough transform)。Kale等人將行人的外輪廓寬度作為圖像特征，提出了一種依賴于角度的識(shí)別方法。而Johnson和Bobick提出了一種不依賴于角度的步態(tài)識(shí)別算法。Sarkar等人提出了步態(tài)識(shí)別的基線算法。Lee等人提出了一種基于步態(tài)外形的表達(dá)方法，其具體做法是先將人體的各個(gè)部分映射到幾個(gè)橢圓組成的模型上，然后用其質(zhì)心位置和離心率作為步態(tài)特征來進(jìn)行步態(tài)識(shí)別。Wang等人提出了一種簡單有效的、基于人體運(yùn)動(dòng)輪廓的識(shí)別算法。值得注意的是，步態(tài)識(shí)別的研究尚處于初級階段，表現(xiàn)在：a．實(shí)驗(yàn)都是在特定的環(huán)境下進(jìn)行的，比如相對簡單固定的背景，人相對于攝像機(jī)側(cè)面行走，攝像機(jī)固定不動(dòng)等；b．算法的評估都是在小樣本數(shù)據(jù)庫上進(jìn)行的，而且數(shù)據(jù)庫也不規(guī)范。
??? 迄今為止，針對步態(tài)識(shí)別所進(jìn)行的研究幾乎全部是基于PC機(jī)的，而在許多情況下，卻需要非PC機(jī)環(huán)境，所以研究基于嵌入式平臺(tái)的步態(tài)識(shí)別系統(tǒng)，具有一定的工程意義。本系統(tǒng)的功能是對采集到的步態(tài)視頻序列進(jìn)行圖像處理，得到視頻序列中的人體步態(tài)信息，再由步態(tài)算法根據(jù)所得到的步態(tài)信息進(jìn)行步態(tài)識(shí)別。

1 系統(tǒng)結(jié)構(gòu)
??? 本嵌入式自動(dòng)步態(tài)識(shí)別系統(tǒng)主要包括CCD攝像機(jī)、圖像采集卡、嵌入式系統(tǒng)、顯示屏等。其中最為核心的是嵌入式系統(tǒng)部分，它包括Renesas 32位嵌入式芯片SH7709S、存儲(chǔ)器、外圍電路、鍵盤、鼠標(biāo)等。主要完成視頻序列信號(hào)的預(yù)處理、處理、步態(tài)識(shí)別、顯示輸出等功能。該系統(tǒng)的結(jié)構(gòu)示意圖如圖1所示。

2 步態(tài)識(shí)別的基本原理
2．1 雙目立體視覺
??? 雙目立體視覺是今年來在圖像測量領(lǐng)域發(fā)展起來的一種新技術(shù)，與單目視覺相比，雙目視覺有以下優(yōu)點(diǎn)：可以獲得單目視覺中所沒有的視差或者深度信息；當(dāng)場景中有遮擋發(fā)生時(shí)，雙目立體視覺可以很好地處理遮擋。因?yàn)椴綉B(tài)識(shí)別的場景難免存在遮擋，為了更好地從各個(gè)方向獲得步態(tài)視頻序列，從而能夠?yàn)檫M(jìn)行正確的步態(tài)識(shí)別作出鋪墊，所以采用雙目立體視覺來獲取人體步態(tài)視頻序列。
??? 在本實(shí)驗(yàn)中，兩個(gè)CCD攝像機(jī)分別固定在一個(gè)三角架的兩邊，組成雙目立體視覺。

2．2 步態(tài)圖像序列中的光流場
??? 光流是指圖像中模式運(yùn)動(dòng)的速度。光流場是一種二維(2D)瞬時(shí)速度場，其中的2D速度矢量是景物中可見點(diǎn)的三維(3D)速度矢量在成像表面的投影。光流不僅包含了被觀察物體的運(yùn)動(dòng)信息，而且攜帶著有關(guān)景物3D結(jié)構(gòu)的豐富信息。光流法假定相鄰時(shí)刻之間的間隔很小(一般為幾十ms)，從而相鄰時(shí)刻的圖像差異也比較小。
2．2．1 光流的基本等式
??? 光流亮度不變性描述的是圖像上某個(gè)象素點(diǎn)的灰度值隨時(shí)間的變化率為零，即,展開為
???

??? 若記其中u和v是該點(diǎn)的光流的x分量和y分量，則式(1)為
????
??? 式(2)就為光流計(jì)算的基本等式。
2．2．2 光流有關(guān)的計(jì)算
??? 對于圖像上的每一點(diǎn)(xi,yi)，求解光流場方程(2)，得到由迭代形式表示的解為：
???
2．3 光流場中運(yùn)動(dòng)特征的提取
??? 從光流中提取的特征包括運(yùn)動(dòng)點(diǎn)T，加權(quán)的運(yùn)動(dòng)點(diǎn)|(u,v)|，|u|，|v|，以及光流分布的質(zhì)心特征等。通過光流場，利用T(u，v)將運(yùn)動(dòng)點(diǎn)(白色)和非運(yùn)動(dòng)點(diǎn)(黑色)區(qū)分開來，由下式表示：
???
??? 在本實(shí)驗(yàn)中，選取|(u，v)|加權(quán)橫坐標(biāo)作為從光流場中提取的步態(tài)特征。
2．4 步態(tài)特征的數(shù)據(jù)融合
??? 對于所提取的步態(tài)特征xuc和yuc，由數(shù)據(jù)融合算法D-S合成公式：

??? 其中m1和m2是特征空間上的兩個(gè)mass函數(shù)，N為矛盾引子，
2．5 識(shí)別
??? 將由數(shù)據(jù)融合得出的特征進(jìn)行基于PCA的特征空問變換。假設(shè)初始的訓(xùn)練樣本集為T={pi-j},i=1，2，…，C，j=1，2，…，Ni；第i個(gè)人第j個(gè)步態(tài)樣本向量為Xij，而樣本總數(shù)為NT=N1+N2+…+Nc。
??? 求樣本集的總體均值向量μ和協(xié)方差矩陣∑，

???
??? 如果協(xié)方差矩陣∑的秩為N，由det|λI-∑|=0求得矩陣∑的N個(gè)特征值λ1，λ2，λ3，…，λN，并由矩陣方程λiI-∑=0，i=0,1,2，…，N;求得對應(yīng)于N個(gè)特征值λ1，λ2，λ3，…，λN的N個(gè)特征向量e1，e2，e3，…，eN。選取與前K個(gè)最大特征值對應(yīng)的前K個(gè)特征向量，并使其中α表示樣本集在前K個(gè)軸上的能量占整個(gè)能量的百分比。通常取α值接近于1，以使得樣本集在前K個(gè)軸上的能量幾乎接近于整個(gè)能量。
??? 用式(2)中所求得K個(gè)特征向量重建初始樣本集中的每個(gè)樣本。算法如下：

這樣就得到一個(gè)K維的權(quán)向量Ωi，j用于進(jìn)行識(shí)別。
??? 選取最近鄰分類法進(jìn)行步態(tài)模式分類。設(shè)經(jīng)過特征提取并向特征空間投影，所得到的特征向量為Ω，求得Ω與每個(gè)每個(gè)模式類的平均向量Ω i，j之間的歐幾立德距離。

???

??? 其中
??? 由最近鄰分類法的判決準(zhǔn)則可知，當(dāng)εi(x)的值最小時(shí)，則x∈εi；否則x∈εi。

2．6 識(shí)別的有效性與錯(cuò)誤率
??? 根據(jù)模式識(shí)別的原理，當(dāng)有兩類步態(tài)時(shí)，步態(tài)識(shí)別的錯(cuò)誤率由下式給出：
????
??? 其中積分區(qū)間R1為當(dāng)w2誤判為w1時(shí)的誤判區(qū)間，而積分區(qū)間R2為當(dāng)w1誤判為w2時(shí)的誤判區(qū)間。當(dāng)p(e)最小時(shí)，識(shí)別越有效，而當(dāng)p(e)越大時(shí)，識(shí)別性能越差。當(dāng)有多類步態(tài)時(shí)，依次類推。

3 系統(tǒng)實(shí)現(xiàn)
3．1 硬件實(shí)現(xiàn)
??? 系統(tǒng)硬件連接框圖如圖2所示。

3．2 軟件實(shí)現(xiàn)
??? 系統(tǒng)軟件流程圖如圖3所示。

4 結(jié)論
??? 步態(tài)識(shí)別已成為近些年來計(jì)算機(jī)視覺領(lǐng)域新的研究方向。本文提出了一種簡單的自動(dòng)步態(tài)識(shí)別方法，并給出了基于Renesas嵌入式芯片的自動(dòng)步態(tài)識(shí)別系統(tǒng)，從長遠(yuǎn)來看，該系統(tǒng)的應(yīng)用很廣泛。