最近自己想用410c來做一個運動相關的DIY，用410c開發(fā)板搭載攝像頭來實現對自己的姿態(tài)的跟蹤，用到健身運動中，完成對自己所作的動作的定位和標準評判，實時提醒自己所作健身動作的標準程度，前期進行了一些調研和預研究，這里將和大家一起分享一下自己在初期的預研過程對人體姿態(tài)估計算法的理解。

圖1 不同運動姿態(tài)示意圖

人體姿態(tài)估計算法近年來隨著體感游戲、VR等熱度的不斷提升，這類用于估算人體姿態(tài)的計算機算法得到了這些領域的專家和相關機構的熱捧，也成為了當前視頻處理和動態(tài)感知領域研究的一個重點。在前期的研究和分析過程中，主要從已有的運動姿態(tài)跟蹤算法和410c開發(fā)板支持的fastcv庫及平臺性能來進行綜合考慮，最終確定人體姿態(tài)估計算法，為后續(xù)進一步利用攝像頭來實現人體姿態(tài)估計和運動姿態(tài)識別。

一、與人體姿態(tài)估計相關設備及算法分析

目前在人體姿態(tài)估計應用方面，大家最為熟悉的可能就是微軟的kinect體感攝像頭和Xbox體感游戲套件這兩款產品，其中xbox體感游戲機主要是利用微軟開發(fā)的kinect攝像頭實現的各種體感運動姿態(tài)識別，來實現各種游戲的交互，實現體感游戲運動，Kinect上集成了各種處理算法和骨骼算法，可以實現對人體運動過程總的骨骼識別，如下圖2，是應用kinect來實現對人體骨骼捕捉的應用，目前很多體感設備廠家都開始選用這款攝像頭來進行相關的體感游戲和設備的開發(fā)。

圖2 kinect 人體骨骼識別

還有一款設備是英特爾退出的realsense 3D攝像頭，這款攝像頭是英特爾專門推出的一款應用于體感設備、人臉識別、無人機甚至VR的視覺處理設備，依托這套設備也可以快速的對人體的運動骨骼進行跟蹤和識別，在realsense中通過雙攝像頭可以快速的實現對拍攝的三維信息進行處理，包括色彩、深度和距離的計算等。如下圖是使用realsense 3D攝像頭實現的一個目標跟蹤示意圖。

圖3 realsense 3D攝像頭人體識別跟蹤

在人體姿態(tài)估計算法方面，主要涉及到了目標識別、提取、匹配、機器學習、模式識別等一系列算法技術，通過應用這些基礎的算法進行融合，以實現對不同人體姿態(tài)的。其中人體的姿態(tài)參數的估計是人體運動識別的核心處理過程，在處理過程中，由于人體本身就是一個復雜多變的形體，并且在人體運動過程總，人體的各個部分之間通過關節(jié)相連，運動可以是多個維度的。目前常用的人體姿態(tài)估計方法主要有以下幾個方面：

1）基于多幅圖像數據的人體姿態(tài)估計

這類方法是目前用的比較多的方法，主要是利用攝像頭采集到的多幅圖像數據來自動初始化人體的對象模型，然后根據多幅圖像中的近似人體形狀信息來實現對人體姿態(tài)的跟蹤和估計，部分還可以基于多幅圖像信息對運動過程中的人體形狀的變化過程來進行建模，使用基于模型的方法來提高人體姿態(tài)估計和識別的精度，常用的基礎處理方法有側影線索引、梯度下降法、空間姿態(tài)隨機搜索匹配法等。

2）基于單目圖像的姿態(tài)估計

這類方法主要是利用單個攝像頭采集圖像，然后根據圖像數據對人體姿態(tài)進行估計，在估計過程中通常會將人體的姿態(tài)初始化成一個外觀模型，采用圖像子塊分析或者混合顏色模型來實現外觀模型的初始化，然后利用監(jiān)督學習、RVM和檢測算子等來完成對人體運動姿態(tài)的檢測和識別。

3）基于多目圖像的姿態(tài)估計

這類方法是目前最為流行的一種方法，特別是隨著kinect和realsense等推出，采用奪目圖像進行姿態(tài)估計得到了快速的發(fā)展，利用雙目來模擬人眼觀察世界，可以有效的解決單目處理過程中的對遮擋處理和空間三維處理的局限性。

4）基于HMM的姿態(tài)估計

這種方法是一種類似于神經網絡的方法，來對固定間隔的上下文進行平滑，其常用的方法有Viterbi算法、Baum-Welch算法等，是人體姿態(tài)估計中常用的一種方法，在處理過程中可以將HMM中的隱狀態(tài)定位為需要估計的人體姿態(tài)，將視頻中的圖像作為觀察對象，然后通過它來推理三維人體姿態(tài)參數，實現對人體的姿態(tài)的估計。

二、Dragonboard 410c平臺分析及開發(fā)庫的選擇

前面幾篇博客介紹的相關工作都是基于Dragoboard 410c開發(fā)板的，對Dragonboard 410c開發(fā)板的具體軟件和硬件性能可以參考以下博客內容：

http://m.makelele.cn/pld/PLDkaifaban/481147.html

圖4 Dragoboard 410c開發(fā)板

這里我們用這個平臺來做人體運動姿態(tài)估計，這里首先要考慮到，需要接入攝像頭，這里開發(fā)板提供了兩個USB接口，通過這兩個接口可以方便的接入USB攝像頭，但是這兩個USB都是2.0的接口，理論上速度沒問題，但是實際的速度和理論速度往往有差別，其速度可能跟不上，因此在預研過程總我們要考慮到這個問題，后續(xù)研究過程中將需要進一步對其進行實際測試，但是綜合考慮，由于使用kinect攝像頭還涉及到微軟的相關庫的使用，這里就可能需要用開發(fā)板來跑win10，但是對win10 不是很熟悉，所以最終我們在研發(fā)過程總還是選擇普通的攝像頭，采用單目攝像頭進行測試，具體的測試和調試過程，將在后續(xù)的博客中更新。同時考慮到處速度和效率問題，通過前面幾個博客中介紹和實踐的使用OpenCV來實現的粒子濾波算法的實際運行處理效果來看，這個使用Dragonboard 410c開發(fā)板基本可以實現。

在圖形處理開發(fā)庫方面，綜合考慮到在Dragonboard 410c上可以使用高通專用的fastcv，同時使用Linux和Android系統(tǒng)的時候，還可以使用opencv開源的視覺處理庫，其中這兩個庫的具體信息在以下鏈接上具有詳細介紹。

https://developer.qualcomm.com/software/fast-cv-sdk/tools

http://opencv.org/

通過對比分析，這兩個庫fastcv 在性能上遠遠高于opencv，但是fastcv提供的各種處理函數和算法沒有opencv全面，為了實現交高性能的處理和確保整個處理能夠滿足Dragoboard 410c處理要求，后續(xù)測試過程中將以fastcv優(yōu)先，先用fastcv采用HMM算法來測試，看實現是否穩(wěn)定和可靠性，下期博客中，將同步更新，使用單目攝像頭來進行人體姿態(tài)估計跟蹤算法的測試。