本項目是基于FH8626V300L的人形檢測的移動追蹤云臺攝像機，12月27日深圳南山，免費培訓，我們帶你半天上手，人形檢測模型部署+優(yōu)化全流程，三人（工程師）成團贈送開發(fā)板哦！

掃碼報名：

目錄

項目背景與功能

硬件使用

硬件設計

開發(fā)環(huán)境

軟件設計

視頻演示

調(diào)試過程中所遇到的問題

展望

1 項目背景與功能

隨著高性能嵌入式芯片以及人工智能技術(shù)與視覺神經(jīng)網(wǎng)絡的高速發(fā)展，智能檢測技術(shù)已在智能安防、智慧醫(yī)療、智能駕駛、工業(yè)檢測等領(lǐng)域得到廣泛應用。

本作品主要依賴FH8626V300L nna模塊結(jié)合sdk提供人形檢測模型實現(xiàn)人形檢測功能，輔以二維云臺進而實現(xiàn)人形追蹤功能。

2 硬件使用

使用雙鏡頭cv2005做雙目輸入

使用pwm6、pwm7兩路pwm驅(qū)動云臺舵機

使用網(wǎng)口連接網(wǎng)絡以實現(xiàn)rtsp推流

3 硬件設計

fh8626v300Ldemo板有pwm接口引出通過跳線帽選擇對應的線路連接，原理圖如下這里將跳線帽拔下直接將舵機pwm控制腳直接接到jp18以及jp20座子的2腳連接芯片。

所使用的二維云臺如下，使用舵機為：LD-1501MG pwm舵機，因其需要6-7.4v供電 因此又單獨加了一個電源模塊為其供電。

4 開發(fā)環(huán)境

fh8626v300sdk要在linux環(huán)境下進行開發(fā)，我這里為方便開發(fā) 在windows下安裝的虛擬機 搭配samba 以及ssh在windows下進行的操作。

交叉編譯鏈 安裝以及sdk編譯及使用 這部分參照富瀚sdk提供的手冊即可迅速完成。

本作品是在sdk的media_demo基礎(chǔ)上進行的基本操作按照手冊配置即可 只是習慣于使用sd卡進行固件加載指令如下：

fatload mmc 0 10000000 media_demo.bin

go 10000000

除加載方式之外其余操作跟手冊流程是一樣的。

5 軟件設計

1、pwm復用

要確保內(nèi)核pwm設備驅(qū)動打開 在sdk/rt-thread目錄內(nèi) make menuconfig進行配置 如下圖所示：

2、配置io復用

修改sdk/rt-thread/platform/fh8626v300/app_board/appboard_iopad.h文件

pin腳復用需要注意不能沖突，否則會導致復用不生效

pin腳功能可查看pin_mux表格，或者直接從fh8626v300_iopad.h文件中查看

3、配置生效后在板子上/dev下會出現(xiàn)設備文件

pinctrl -l可查看pin腳復用信息

cv2005雙目出圖可參照 sdk中測試固件cv2005常電模式文檔說明進行配置即可

fh碼流通道數(shù)據(jù)格式如下圖所示

nna模塊所需數(shù)據(jù)為rgb888格式，因此在使用nna人形檢測功能時需要使能通道2，這里用的是sensor0做人形檢測 通道2幅面跟通道0幅面保證橫縱比相同 就是縮放而來的數(shù)據(jù)檢測結(jié)果可以直接映射過去進行osd畫框。幅面如下圖配置所示

nna模塊檢測結(jié)果及通道0映射如下圖所示

6 人形追蹤邏輯

目標：讓監(jiān)測到的目標中心點落于整個幅面的中心（1920/2，1080/2），為防止攝像頭抖動故此將中心擴大到一塊范圍，只要目標中心在畫面中間范圍內(nèi)就無需驅(qū)動云臺轉(zhuǎn)動，像素點與角度的關(guān)系示意圖如下所示，簡單的映射關(guān)系即可得到兩個像素點之間所對應的角度后續(xù)只需要根據(jù)目標中心距離幅面中心點像素差值即可計算出需要轉(zhuǎn)動的角度

7 視頻演示

人形檢測畫框可通過vlc rtsp拉流進行查看

因目前沒有合適的架子，擔心開發(fā)板架上云臺導致短路故而只演示了人形在畫面不同方位云臺轉(zhuǎn)動的方向示意，后續(xù)再進行更新板子架上云臺的效果。

8 調(diào)試過程中所遇到的問題

畫面色彩發(fā)黃

ircut問題，將鏡頭ircut接口接到j20座子，jp27跳線帽短接1，2腳 復用GPIO4之后直接上電即可切ircut，gpio4默認電平為高 查過硬件發(fā)現(xiàn)ircut芯片到另一個控制腳gpio29中間的R69沒貼，所以可以直接把ircut弄掉，畫面色彩就是正常的。只是在室內(nèi)測試具體情況還是要具體分析以確定ircut狀態(tài)，需要打開ircut的話短接R69并將GPIO29拉高 GPIO4拉低即可

9 展望

目前走的雙目方案，可以主鏡頭做絆線檢測，副鏡頭做人形追蹤。以做到主鏡頭做固定范圍的監(jiān)測副鏡頭聯(lián)動。當有人進入特定范圍后報警并且副鏡頭進行追蹤 做到類似現(xiàn)在攝像頭槍球聯(lián)動的效果。

工程鏈接：

通過網(wǎng)盤分享的文件：rt-thread.tar

鏈接:https://pan.baidu.com/s/1nGO9-9ONg_Lf2KOyhpVTHQ?pwd=bph2提取碼: bph2

工程是在media_demo基礎(chǔ)之上開發(fā)的 可以直接將文件解壓到sdk中直接編譯

鏈接：https://gitee.com/lkqqf/lkq_project/tree/master

如果您有項目需求獲取同款芯片，可以掃碼申請試用。

如果您有項目需求獲取同款芯片，可以掃碼申請試用。

掃碼申請試用：

或前往淘寶購買：https://e.tb.cn/h.SDz8fmbdZoxn8fI?tk=w2b6fn2xZpQ

RT-Thread Github 開源倉庫，歡迎撒個星(Star)支持，更期待你的代碼貢獻：https://github.com/RT-Thread/rt-thread

添加小師弟微信↓，拉你進RT-Thread技術(shù)交流群，找到組織！