RK3562是瑞芯微新推出的一款處理器，有RK3562（商業(yè)級）和RK3562J（工業(yè)級）兩個版本，RK3562處理器擁有四核Cortex-A53@1.8GHz + Cortex-M0@200MHz異構(gòu)多核架構(gòu)，支持10路UART、2路CAN、2路網(wǎng)口、3個顯示接口、2路Camera等超多外設(shè)接口。

除此之外還內(nèi)置算力高達(dá)1TOPS的NPU，支持INT4、INT8、INT16、FP16等多種數(shù)據(jù)類型，支持TensorFlow、PyTorch、ONNX、TFLite、Caffe、Android NN 等深度學(xué)習(xí)框架，可以實(shí)現(xiàn)高效神經(jīng)網(wǎng)絡(luò)推理計算并輕松應(yīng)對多種AI運(yùn)算場景。

RK3562－NPU使用流程

第一步：訓(xùn)練模型

準(zhǔn)備訓(xùn)練數(shù)據(jù)，然后選擇TensorFlow、PyTorch、ONNX、TFLite、Caffe等框架訓(xùn)練模型。也可以使用瑞芯微提供的模型。

第二步：模型轉(zhuǎn)換

得到訓(xùn)練好的模型以后，使用RKNN-Toolkit2工具將模型轉(zhuǎn)換為RKNN模型。RKNN模型則是RK3562 NPU可以識別的模型。

第三步：應(yīng)用開發(fā)

根據(jù)具體使用需求，將轉(zhuǎn)換后的模型集成到應(yīng)用程序中。

RK3562－NPU案例分享

在rknn-toolkit2 工具中， 自帶了很多測試?yán)毯湍Ｐ?，如下圖所示：

選擇tensorflow作為測試框架， 進(jìn)入tensorflow/ssd_mobilenet_v1/目錄下.

打開 test.py,修改對應(yīng)的平臺為 rk3562， 修改如下所示， “-”代表需要刪除的內(nèi)容， “+”代表需要新增的內(nèi)容。

if __name__ == '__main__':

# Create RKNN object

- rknn = RKNN(verbose=True)

+ rknn = RKNN()

# Pre-process config

print('--> Config model')

- rknn.config(mean_values=[127.5, 127.5, 127.5], std_values=[127.5, 127.5, 127.5])

+ rknn.config(mean_values=[127.5, 127.5, 127.5], std_values=[127.5, 127.5, 127.5],

target_platform='RK3562')

print('done')

# Load model

@@ -62,7 +62,7 @@ if __name__ == '__main__':

# Init runtime environment

print('--> Init runtime environment')

- ret = rknn.init_runtime()

+ ret = rknn.init_runtime(target='RK3562')

if ret != 0:

print('Init runtime environment failed!')

exit(ret)

修改完并執(zhí)行該腳本后可以看到知推理圖片識別后的結(jié)果。

Score 反映的是得分，得分越高說明和被認(rèn)為的標(biāo)簽相似度越高，圓括號則是對應(yīng)識別出的物體的坐標(biāo)。 命令行中出現(xiàn)了八行被識別物體的坐標(biāo)和置信度， 和 out.jpg 可以對應(yīng)。out.jpg 如下圖所示