1. 手勢識別算法簡介

Gestures手勢識別算法一種先進(jìn)的姿勢估計(jì)模型，使用 關(guān)鍵點(diǎn)數(shù)據(jù)集進(jìn)行訓(xùn)練，能夠檢測圖像或視頻中人物的 21個(gè)關(guān)鍵點(diǎn)與26種手勢，每個(gè)關(guān)鍵點(diǎn)代表手部的不同部位。該算法廣泛應(yīng)用于體育分析、動(dòng)物行為監(jiān)測和機(jī)器人等領(lǐng)域，幫助機(jī)器實(shí)時(shí)解讀物理動(dòng)作。Gestures手勢識別的特性和改進(jìn)，提升了性能和靈活性，使其成為各種計(jì)算機(jī)視覺任務(wù)的理想選擇。本算法具有運(yùn)行效率高、實(shí)時(shí)性強(qiáng)的特點(diǎn)。

基于EASY-EAI-Nano-TB(RV1126B)硬件主板的運(yùn)行效率：

26種手勢索引定義：

2. 快速上手

2.1 開發(fā)環(huán)境準(zhǔn)備

如果您初次閱讀此文檔，請閱讀《入門指南/開發(fā)環(huán)境準(zhǔn)備/Easy-Eai編譯環(huán)境準(zhǔn)備與更新》，并按照其相關(guān)的操作，進(jìn)行編譯環(huán)境的部署。

在PC端Ubuntu系統(tǒng)中執(zhí)行run腳本，進(jìn)入EASY-EAI編譯環(huán)境，具體如下所示。

cd ~/develop_environment ./run.sh

2.2 源碼下載

在EASY-EAI編譯環(huán)境下創(chuàng)建存放源碼倉庫的管理目錄：

cd /opt mkdir EASY-EAI-Toolkit cd EASY-EAI-Toolkit

通過git工具，在管理目錄內(nèi)克隆遠(yuǎn)程倉庫

git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-1126B.git

注：

* 此處可能會(huì)因網(wǎng)絡(luò)原因造成卡頓，請耐心等待。

* 如果實(shí)在要在gitHub網(wǎng)頁上下載，也要把整個(gè)倉庫下載下來，不能單獨(dú)下載本實(shí)例對應(yīng)的目錄。

2.3 模型部署

要完成算法Demo的執(zhí)行，需要先下載手勢識別算法模型。

百度網(wǎng)盤鏈接為：https://pan.baidu.com/s/1m2E1Sk_yi_-qMO5PLOXfdA?pwd=1234（提取碼：1234 ）。

同時(shí)需要把下載的手勢識別算法模型復(fù)制粘貼到Release/目錄：

2.4 例程編譯

進(jìn)入到對應(yīng)的例程目錄執(zhí)行編譯操作，具體命令如下所示：

cd EASY-EAI-Toolkit-1126B/Demos/algorithm-gestures/ ./build.sh cpres

注：

* 由于依賴庫部署在板卡上，因此交叉編譯過程中必須保持/mnt掛載。

* 若build.sh腳本帶有cpres參數(shù)，則會(huì)把Release/目錄下的所有資源都拷貝到開發(fā)板上。

2.5 例程運(yùn)行及效果

通過串口調(diào)試或ssh調(diào)試，進(jìn)入板卡后臺(tái)，定位到例程部署的位置，如下所示：

cd /userdata/Demo/algorithm-gestures/

運(yùn)行例程命令如下所示：

sudo ./test-gestures gesture_pose.model gesture_classify.model ok.jpg

在EASY-EAI編譯環(huán)境可以取回測試圖片:

cp /mnt/userdata/Demo/algorithm-gestures/result.jpg .

結(jié)果圖片如下所示：

API的詳細(xì)說明，以及API的調(diào)用（本例程源碼），詳細(xì)信息見下方說明。

3. 手勢識別API說明

3.1 引用方式

為方便客戶在本地工程中直接調(diào)用我們的EASY EAI API庫，此處列出工程中需要鏈接的庫以及頭文件等，方便用戶直接添加。

3.2 手勢識別算法初始化函數(shù)

手勢識別初始化函數(shù)原型如下所示。

int gestures_init(const char *p_gestures_path, const char *p_mobilenet_path, rknn_gestures_context_t &gestures, int cls_num);

具體介紹如下所示。

3.3 手勢識別算法運(yùn)行函數(shù)

手勢識別運(yùn)行函數(shù)gestures_run原型如下所示。

std::vector gestures_run(rknn_gestures_context_t &gestures, cv::Mat image, float conf_threshold, float nms_threshold);

具體介紹如下所示。

3.4 手勢識別算法釋放函數(shù)

手勢識別釋放函數(shù)原型如下所示。

int gestures_release(rknn_gestures_context_t &gestures);

具體介紹如下所示。

4. 手勢識別算法例程

例程目錄為Demos/algorithm-gestures/test-gestures.cpp，操作流程如下。

參考例程如下所示。

#include #include #include #include #include #include "gestures.h" /// 分類名稱 char gpp_gestures[27][100] = { "00-call", "01-dislike", "02-fist", "03-four", "04-grabbing", "05-grip", "06-like", "07-little_finger", "08-middle_finger", "09-no_gesture", "10-ok", "11-one", "12-palm", "13-peace", "14-peace_inverted", "15-point", "16-rock", "17-stop", "18-stop_inverted", "19-three", "20-three_gun", "21-three2", "22-three3", "23-thumb_index", "24-two_up", "25-two_up_inverted", "26-gestures_bg" }; /// 繪制手勢 cv::Mat draw_image(cv::Mat image, std::vector results) { long unsigned int i =0; for (i = 0; i < results.size(); i++) { cv::Rect rect(results[i].left, results[i].top, (results[i].right - results[i].left), (results[i].bottom - results[i].top)); cv::rectangle(image, rect, CV_RGB(255, 0, 0), 2); char p_text[128]; sprintf(p_text, "%s-%0.2f", gpp_gestures[results[i].gesture], results[i].score); cv::putText(image, p_text, cv::Point(rect.x, rect.y - 5), 1, 1.2, CV_RGB(255, 0, 0), 2); cv::Point pt0(results[i].keypoints[0][0], results[i].keypoints[0][1]); cv::circle(image, pt0, 2, CV_RGB(0, 255, 0), 3); for (int m = 0; m < 5; m++) { int idx = 4 * m + 1; cv::Point pt1(results[i].keypoints[idx][0], results[i].keypoints[idx][1]); cv::Point pt2(results[i].keypoints[idx + 1][0], results[i].keypoints[idx + 1][1]); cv::Point pt3(results[i].keypoints[idx + 2][0], results[i].keypoints[idx + 2][1]); cv::Point pt4(results[i].keypoints[idx + 3][0], results[i].keypoints[idx + 3][1]); cv::circle(image, pt1, 2, CV_RGB(0, 255, 0), 3); cv::circle(image, pt2, 2, CV_RGB(0, 255, 0), 3); cv::circle(image, pt3, 2, CV_RGB(0, 255, 0), 3); cv::circle(image, pt4, 2, CV_RGB(0, 255, 0), 3); cv::line(image, pt0, pt1, CV_RGB(255, 0, 0), 2); cv::line(image, pt1, pt2, CV_RGB(255, 0, 0), 2); cv::line(image, pt2, pt3, CV_RGB(255, 0, 0), 2); cv::line(image, pt3, pt4, CV_RGB(255, 0, 0), 2); } } return image; } /// 主函數(shù) int main(int argc, char **argv) { if (argc != 4) { printf("%s \n", argv[0]); return -1; } const char *p_gesture_pose_path = argv[1]; const char *p_gesture_classify_path = argv[2]; const char *p_img_path = argv[3]; printf("gesture pose model path = %s, gesture classify path = %s, image path = %s\n", p_gesture_pose_path, p_gesture_classify_path, p_img_path); // 讀取圖片 cv::Mat image = cv::imread(p_img_path); if(image.empty()){ printf("Image is empty.\n"); return 0; } printf("Image size = (%d, %d)\n", image.rows, image.cols); // 手勢識別初始化 int ret; rknn_gestures_context_t gestures; gestures_init(p_gesture_pose_path, p_gesture_classify_path, gestures, 1); // 手勢識別函數(shù) double start = static_cast(cv::getTickCount()); std::vector results = gestures_run(gestures, image, 0.35, 0.35); double end = static_cast(cv::getTickCount()); double runtime = (end - start) / cv::getTickFrequency() * 1000; std::cout << "Gestures run time: " << runtime << " ms" << std::endl; // 繪制結(jié)果 image = draw_image(image, results); cv::imwrite("result.jpg", image); printf("Detect size = %ld\n", results.size()); // 內(nèi)存釋放 ret = gestures_release(gestures); return ret; }