本項目為RT-Thread嵌入式大賽獲獎作品，基于CanMV K230的工地巡檢機(jī)器人。K230芯片集成了兩顆RISC-V處理器核心，雙核玄鐵C908。RT-Thread已全面支持XUANTIE系列的E，C與R內(nèi)核，并推出電子書《XUANTIE開發(fā)實踐指南》

（https://www.rt-thread.org/document/site/#/rt-thread-version/rt-thread-standard/tutorial/make-bsp/xuantie/XUANTIE%E5%BC%80%E5%8F%91%E5%AE%9E%E8%B7%B5%E6%8C%87%E5%8D%97）

目錄

應(yīng)用的實現(xiàn)功能

RT-Thread使用情況概述

整體設(shè)計流程

硬件框架

機(jī)械結(jié)構(gòu)

軟件框架

功能實現(xiàn)

演示視頻及代碼

演示視頻鏈接：

https://www.bilibili.com/video/BV1ZhScB9E8j/?spm_id_from=333.1387.homepage.video_card.click&vd_source=b1fff0f773136d7d05331087929c7739

1 應(yīng)用的實現(xiàn)功能

本作品基于RT-Thread系統(tǒng)，設(shè)計并實現(xiàn)了一套基于CanMV K230開發(fā)板的工地巡檢機(jī)器人，融合AI視覺識別、嵌入式控制、Web通信，構(gòu)建了適用于復(fù)雜施工場景的全天候自動化監(jiān)測與建材識別方案。系統(tǒng)以CanMV K230作為邊緣計算主控平臺，充分利用其高性能NPU加速能力，部署了本地化運行的YOLOv5模型，實現(xiàn)了對鋼筋圈（coil）、鋼筋捆（rebar）及砌體（brickwork）等建材的精準(zhǔn)識別與數(shù)量統(tǒng)計。同時，系統(tǒng)支持模型動態(tài)切換，通過加載安全帽檢測YOLOv5模型，有效識別未佩戴安全帽的施工人員，顯著提升工地安全管理水平。機(jī)器人底盤采用麥克納姆輪全向移動結(jié)構(gòu)，通過二維云臺全方位覆蓋作業(yè)區(qū)域，可將工地環(huán)境實時上傳網(wǎng)頁端，實現(xiàn)數(shù)據(jù)可視化監(jiān)控。

圖1 基于CanMV K230的工地巡檢機(jī)器人整體外觀圖

2 RT-Thread使用情況概述

本作品采用的CanMV-K230 開發(fā)板，該開發(fā)板的開發(fā)語言為MicroPython，操作系統(tǒng)是基于 RT-Thread Smart，代碼有調(diào)用KPU,通過Kmodel本地YOLOv5進(jìn)行識別工地建材和是否佩戴安全帽，同樣采用了多線程處理圖像識別與運動控制，以及環(huán)境數(shù)據(jù)傳輸?shù)?。整體圖像識別幀率到30FPS以上，芯片的算力與目前市場上該價位的板子一致，比K210算力強(qiáng)很多。

3 整體設(shè)計流程

本作品從工地環(huán)境中高頻巡檢、人身安全、物料管理、安全監(jiān)管等實際需求出發(fā)，確立以智能巡檢、目標(biāo)識別、環(huán)境監(jiān)測、遠(yuǎn)程控制為核心目標(biāo)的功能，并制定系統(tǒng)技術(shù)指標(biāo)，完成工地巡檢機(jī)器人的方案設(shè)計。根據(jù)系統(tǒng)整體方案，搭建基于K230開發(fā)板的軟硬件平臺。在模擬工地環(huán)境下，對機(jī)器人的基本運動，對建材種類和數(shù)量進(jìn)行統(tǒng)計，對人員安全進(jìn)行監(jiān)測，可視化顯示當(dāng)前環(huán)境狀態(tài)等功能測試，來評估機(jī)器人的性能。具體設(shè)計流程如圖2所示。

圖2 基于CanMV K230的工地巡檢機(jī)器人系統(tǒng)設(shè)計流程

本作品是基于RT-Thread系統(tǒng)，CanMV K230開發(fā)板，構(gòu)建了一個集AI視覺識別、智能巡檢控制、環(huán)境數(shù)據(jù)采集、數(shù)據(jù)可視化于一體的工地巡檢機(jī)器人系統(tǒng)，其整體框圖如圖3所示?；贑anMV K230的工地巡檢機(jī)器人主要分為硬件部分和軟件部分，其硬件部分主要由搭載KPU的CanMV K230開發(fā)板、立創(chuàng)EDA專業(yè)版所畫板的運動控制平臺、溫濕度傳感器和二維云臺等構(gòu)成，其軟件部分包含WEB服務(wù)端、目標(biāo)檢測、溫濕度可視化顯示、運動控制等構(gòu)成。

圖3 基于CanMV K230的工地巡檢機(jī)器人整體設(shè)計框架

4 硬件框架

嘉楠科技Kendryte系列AIoT芯片中的最新一代SoC芯片K230為主控芯片，支持三路攝像頭同時輸入，典型網(wǎng)絡(luò)下的推理能力可達(dá)K210的13.7倍。支持CanMV，可以直接使用Python編程，簡單易用?？勺鳛锳I與邊緣計算平臺，適合物聯(lián)網(wǎng)；智能家居與消費電子；工業(yè)自動化；無人系統(tǒng)等領(lǐng)域的開發(fā)者使用。K230芯片集成了兩顆RISC-V處理器核心，雙核玄鐵C908，7nm 制程工藝，主頻高達(dá)1.6GHz，是全球首款支持RISC-V Vector 1.0標(biāo)準(zhǔn)的商用SOC，配備第三代KPU處理單元，專為圖像、視頻、音頻處理和AI加速設(shè)計，提供強(qiáng)勁的本地AI推理能力。支持三路MIPI CSI視頻輸入，最大分辨率可達(dá)4K。K230支持常見的AI計算框架如TensorFlow和PyTorch。

圖4 CanMV K230硬件資源圖

由于K230開發(fā)板的PWM引腳有限，兩個PWM引腳用于控制二維云臺的移動。ESP32S3的移動平臺用于機(jī)器人的水平方向的全方位移動，主要由樂鑫科技公司的ESP32S3芯片、步進(jìn)電機(jī)驅(qū)動、電源模塊等構(gòu)成。ESP32-S3是一款集成Wi-Fi和低功耗藍(lán)牙（BLE）的高性能雙核處理器芯片，內(nèi)核為雙核Xtensa32-bit LX7，最高主頻 240MHz，并集成豐富的GPIO、PWM、ADC、SPI、I2C等外設(shè)資源，其低功耗、高性能以及優(yōu)秀的外圍接口資源，使其成為運動控制與無線通信一體化系統(tǒng)的理想選擇。步進(jìn)驅(qū)動采用的是TB6612芯片，該芯片是常用于機(jī)器人和小型運動控制系統(tǒng)中的雙通道直流電機(jī)/步進(jìn)電機(jī)驅(qū)動芯片，內(nèi)置短路保護(hù)和熱關(guān)斷保護(hù)功能，可以實現(xiàn)平滑的電機(jī)轉(zhuǎn)速調(diào)節(jié)與方向控制。電源模塊采用LM78M05將兩節(jié)18650電池電壓降壓到5v，再通過AMS1117降壓至3.3v給ESP32S3供電，以及給TB6612芯片提供電源。其移動平臺的電路圖和PCB圖分別如圖5和圖6所示。

圖5 ESP32S3的移動平臺電路圖

圖6 ESP32S3的移動平臺PCB圖

5 機(jī)械結(jié)構(gòu)

本作品利用Solidworks設(shè)置固定件來連接工地巡檢機(jī)器人各個零件，例如K230開發(fā)板的固定、N20電機(jī)的固定、二維云臺的連接等，下面將對工地巡檢機(jī)器人的核心機(jī)械設(shè)計進(jìn)行介紹。

圖7 K230開發(fā)板和二維云臺固定支撐3D設(shè)計圖

為確保移動平臺運行過程中的穩(wěn)定性與抗震性，本作品的移動平臺采用上下緊湊機(jī)構(gòu)，底部打印厚度為5mm的底盤支撐，頂部打印3mm的頂部支撐，頂部與底部將N20電機(jī)緊緊扣住，防止出現(xiàn)振動位移，其中底部設(shè)計的M2通孔位置根據(jù)圖8的N20尺寸圖所設(shè)計，其余M3的通孔用于固定連接ESP32S3的移動平臺PCB。連接部分的3D設(shè)計圖如圖9所示。

圖8 N20電池座的尺寸圖

圖9 N20電機(jī)的固定以及移動平臺的連接3D設(shè)計圖

為了實現(xiàn)對攝像頭視角的動態(tài)調(diào)節(jié)與多方向覆蓋，本系統(tǒng)設(shè)計并3D打印制作了二維云臺結(jié)構(gòu)件，用于安裝并控制K230開發(fā)板實現(xiàn)水平與垂直方向的轉(zhuǎn)動，滿足在工地復(fù)雜環(huán)境中靈活調(diào)整監(jiān)控角度的需求。二維云臺主要由底部固定座、連接支架和攝像頭安裝板構(gòu)成，打印件采用PLA材料進(jìn)行打印，具有足夠的結(jié)構(gòu)強(qiáng)度與剛性，既能穩(wěn)定承載攝像頭重量，又能保持運動靈敏性和低摩擦。二維云臺3D打印設(shè)計圖如圖10所示。

圖10 二維云臺的3D設(shè)計圖

6 軟件框架

工地巡檢機(jī)器人的軟件系統(tǒng)主要分為機(jī)器人客戶端和WEB網(wǎng)頁端兩大部分，其中機(jī)器人客戶端包括二維云臺的控制、ESP32S3移動平臺的控制、建材識別與安全檢測深度學(xué)習(xí)算法本地推理、工地環(huán)境溫濕度獲取等。WEB網(wǎng)頁端主要包括二維云臺與移動平臺的控制界面、建材識別與安全檢測開關(guān)、溫濕度可視化顯示以及功能開關(guān)控制等。機(jī)器人客戶端和WEB網(wǎng)頁端是通過TCP協(xié)議進(jìn)行通信，該協(xié)議能夠保證機(jī)器人控制與檢測目標(biāo)過程中低延遲高效率，長連接即可雙向通信，比傳統(tǒng)Ajax輪詢更節(jié)省帶寬和CPU資源，對服務(wù)器壓力較小，尤其適合邊緣計算設(shè)備或嵌入式系統(tǒng)中使用。軟件系統(tǒng)整體流程圖如圖11所示。

圖11 軟件系統(tǒng)整體流程圖

建材識別

建材識別主要是對工地巡檢機(jī)器人的周圍建筑器材，即鋼筋圈(coil)、鋼筋捆(rebar)和砌體(brickwork)進(jìn)行三種對象的分類與目標(biāo)識別。機(jī)器人采用YOLOv5算法進(jìn)行本地推理，建材識別模型訓(xùn)練流程主要分為數(shù)據(jù)采集、模型訓(xùn)練、量化部署、實時推理、結(jié)果回傳五個步驟，具體流程如圖12所示。

圖12 模型訓(xùn)練流程

數(shù)據(jù)采集與標(biāo)注：圖像采集盡量覆蓋不同的視角、光照和背景復(fù)雜度，以增強(qiáng)模型在實際環(huán)境中的魯棒性。圖像采集完成后，使用開源圖像標(biāo)注工具LabelImg對圖像進(jìn)行目標(biāo)檢測標(biāo)注。LabelImg提供了圖形化界面，通過使用鼠標(biāo)框選目標(biāo)框，并輸入目標(biāo)類別(brickwork標(biāo)注0，rebar標(biāo)注1，coil標(biāo)注2)。三種建材標(biāo)注分別如圖13、14和15所示。

圖13 砌體標(biāo)注

圖14 鋼筋捆標(biāo)注

圖15 鋼筋圈標(biāo)注

模型訓(xùn)練：基于YOLOv5的深度學(xué)習(xí)目標(biāo)檢測算法對建材數(shù)據(jù)集進(jìn)行訓(xùn)練，借助NVIDIA RTX 4060 GPU對數(shù)據(jù)集進(jìn)行80次epoch的加速訓(xùn)練。訓(xùn)練平臺框架為PyTorch深度學(xué)習(xí)框架，采用的是適合邊緣部署的輕量化YOLOv5n模型。

圖16 模型訓(xùn)練結(jié)果

模型量化與部署：通過docker使用nncase將onnx模型量化部署為Kmodel模型。

圖17 模型量化轉(zhuǎn)化為Kmodel模型

控制與數(shù)據(jù)顯示

整個上位機(jī)界面包含運動平臺控制、云臺控制、建設(shè)識別與安全建材開關(guān)和工地環(huán)境可視化顯示如圖18和19所示。

圖18 上位機(jī)整體界面

圖19 工地環(huán)境監(jiān)測

7 功能實現(xiàn)

建材識別功能

基于CanMV K230的工地巡檢機(jī)器人對三種建材（砌體、鋼筋圈和鋼筋捆）的識別效果，通過CanMV IDE進(jìn)行展示，在實際場地效果會更好。

圖20 砌體的識別1

圖21 砌體的識別2

圖22 砌體的識別3

圖23 鋼筋圈的識別1

圖24 鋼筋圈的識別2

圖25 鋼筋圈的識別3

圖26 鋼筋捆的識別1

圖27 鋼筋捆的識別2

圖28 鋼筋捆的識別3

安全檢測功能

基于CanMV K230的工地巡檢機(jī)器人對工人安全的檢測效果，通過CanMV IDE進(jìn)行展示，在實際場地效果會更好。

圖29 安全檢測1

圖30 安全檢測2

圖31 安全檢測3

工地環(huán)境可視化功能

服務(wù)端接收來自CanMV K230的工地巡檢機(jī)器人對工地環(huán)境的數(shù)據(jù)。

圖32 環(huán)境監(jiān)測

8 演示視頻及代碼

演示視頻鏈接：

https://www.bilibili.com/video/BV1ZhScB9E8j/?spm_id_from=333.1387.homepage.video_card.click&vd_source=b1fff0f773136d7d05331087929c7739

代碼倉庫：https://github.com/wuboy19/RT_Thread_competiton