91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

在ZephyrOS添加NPU驅(qū)動(dòng)支持加速AI應(yīng)用

恩智浦MCU加油站 ? 來(lái)源:恩智浦MCU加油站 ? 2026-02-12 10:30 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

承接上文——小編就不再鋪墊了,直接上重點(diǎn)!

在上一節(jié)中,我們已經(jīng)成功完成模型訓(xùn)練,并獲得了量化后的 TFLite 模型。
那模型到底“長(zhǎng)”什么樣?結(jié)構(gòu)是否如預(yù)期?算子是否都被正確量化?

要回答這些問題,就必須請(qǐng)出我們的一位老朋友-Neutron工具(朋友們可自行下載)來(lái)對(duì)模型進(jìn)行可視化與結(jié)構(gòu)檢查。通過它,我們能更直觀地了解模型的內(nèi)部構(gòu)成,為后續(xù)移植到Zephyr做好扎實(shí)準(zhǔn)備。

c261e8e2-07ac-11f1-90a1-92fbcf53809c.png

為了驗(yàn)證是否是量化好的模型,這里任意點(diǎn)擊一個(gè)節(jié)點(diǎn),在彈出的屬性頁(yè)面下,可以看到他的權(quán)重類型為int8,說(shuō)明我們已經(jīng)成功量化好了模型,就可以開始做模型轉(zhuǎn)換的準(zhǔn)備了。

1.下載適配MCXN947的SDK代碼,這樣就可以直接已SDK為基礎(chǔ)進(jìn)行改造了,無(wú)需額外工作,這里要注意的是:因?yàn)檗D(zhuǎn)換工具和SDK版本有深度的依賴,在轉(zhuǎn)換前,需要提前決定好要使用的SDK版本https://mcuxpresso.nxp.com/zh/select,這里假設(shè)我們選擇的是2.16.0版本的SDK包:

c2be04e2-07ac-11f1-90a1-92fbcf53809c.png

點(diǎn)擊構(gòu)建后,會(huì)跳轉(zhuǎn)頁(yè)面勾選中間件,因?yàn)槭且浦驳絑ephyr上,這里直接選擇MCUXPresso IDE作為工具鏈(采用的GCC工具鏈,和Zephyr原生工具鏈兼容),并勾選eIQ選項(xiàng),等待構(gòu)建完成:

c314e028-07ac-11f1-90a1-92fbcf53809c.png

2.下載eiq ToolKit,安裝包中包含了我們所需要的轉(zhuǎn)換工具h(yuǎn)ttps://www.nxp.com/design/design-center/software/eiq-ai-development-environment/eiq-toolkit-for-end-to-end-model-development-and-deployment:EIQ-TOOLKIT,并根據(jù)實(shí)際環(huán)境下載windows或是ubuntu版本的軟件:

c36fabb6-07ac-11f1-90a1-92fbcf53809c.png

下載完成后等待安裝完成,安裝完成后,就要開始尋找我們需要的轉(zhuǎn)換工具了,切換到安裝目錄C: xpeIQ_Toolkit_v1.14.0in eutron-converter,里面有不同版本的轉(zhuǎn)換器,要根據(jù)剛才下載的SDK版本進(jìn)行選擇,剛才下載的SDK版本是2.16.0,那直接選擇MCU_SDK_2.16.000目錄下的轉(zhuǎn)換工具:

c3c613ac-07ac-11f1-90a1-92fbcf53809c.png

c41f5098-07ac-11f1-90a1-92fbcf53809c.png

3.模型轉(zhuǎn)換方法:準(zhǔn)備好量化好的模型,并利用命令行方式進(jìn)行轉(zhuǎn)換:

c4793ac2-07ac-11f1-90a1-92fbcf53809c.png

轉(zhuǎn)換成功后,模型會(huì)已saved_model_converted.tflite保存,如下圖右邊的就是轉(zhuǎn)換好的模型,轉(zhuǎn)換器已經(jīng)將三個(gè)FullyConnected算子進(jìn)行了融合,變成了一個(gè)統(tǒng)一的NeutronGraph算子,至此模型轉(zhuǎn)換就成功了。

c4d62502-07ac-11f1-90a1-92fbcf53809c.png

4.將模型保存為C數(shù)組的形式:為了在程序中使用轉(zhuǎn)換好的模型,需要將模型降解為C語(yǔ)言數(shù)組的形式,這里直接借用Linux所提供的工具,xxd來(lái)進(jìn)行操作(可以借助WSL或是虛擬機(jī)實(shí)現(xiàn)):

# Install xxd if it is not available
!apt-get update && apt-get -qq install xxd
# Convert to a C source file, i.e, a TensorFlow Lite for Microcontrollers model
!xxd -i {MODEL_TFLITE} > {MODEL_TFLITE_MICRO}
# Update variable names
REPLACE_TEXT = MODEL_TFLITE.replace('/', '_').replace('.', '_')
!sed -i 's/'{REPLACE_TEXT}'/g_model/g' {MODEL_TFLITE_MICRO}

執(zhí)行完成后會(huì)生成一個(gè)名為:model.cc的文件,里面就是已經(jīng)降解為C語(yǔ)言數(shù)組形式的模型文件了:

c52c8dd4-07ac-11f1-90a1-92fbcf53809c.png

至此,本期所需的前期準(zhǔn)備工作已全部就緒:
我們完成了模型訓(xùn)練、量化處理,并順利生成了可用于部署的TFLite模型。這些步驟為真正的重點(diǎn) ——在Zephyr 中集成NPU運(yùn)行時(shí)環(huán)境,并將模型文件部署到實(shí)際系統(tǒng)—— 打下了堅(jiān)實(shí)基礎(chǔ)。

真正的“硬仗”,從下一期正式開始。
敬請(qǐng)期待,我們將在Zephyr上讓NPU“跑”起來(lái)!

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    91

    文章

    39707

    瀏覽量

    301320
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3751

    瀏覽量

    52093
  • NPU
    NPU
    +關(guān)注

    關(guān)注

    2

    文章

    373

    瀏覽量

    21084

原文標(biāo)題:為Zephyr AI加速做好準(zhǔn)備:模型轉(zhuǎn)換

文章出處:【微信號(hào):NXP_SMART_HARDWARE,微信公眾號(hào):恩智浦MCU加油站】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    NXP推出集成NPU的MCU,支持AI邊緣設(shè)備!MCU實(shí)現(xiàn)AI功能的多種方式

    旨在顯著節(jié)省功耗,可在邊緣端提供高達(dá)172倍的AI加速。 ? MCU 集成NPU 支持AI 功能 ? 恩智浦推出的這款i.MX RT700內(nèi)
    的頭像 發(fā)表于 09-29 01:11 ?6429次閱讀

    使用NORDIC AI的好處

    ; 自定義 Neuton 模型博客] Axon NPU :集成 nRF54LM20B 等高端 SoC 中的專用 AI 加速器,對(duì) TensorFlow Lite 模型可實(shí)現(xiàn)最高約 1
    發(fā)表于 01-31 23:16

    請(qǐng)問NPU到底是什么?

    目前手機(jī)市場(chǎng)中,AI已成為標(biāo)配,但手機(jī)里的AI夠不夠聰明,還得看手機(jī)芯片里的NPU是否夠強(qiáng)大。那么,NPU到底是什么呢?
    發(fā)表于 12-08 07:00

    基于RKNN程序開發(fā)和模型轉(zhuǎn)換的NPU簡(jiǎn)要說(shuō)明

    使用 “PCIE連接的NPU” 會(huì)比使用 “USB3.0方式連接的NPU實(shí)際推理速度上慢很多。為了解決這個(gè)問題,我們制作了相關(guān)PCIE-NPU
    發(fā)表于 05-31 11:10

    AIO-3399ProC NPU開發(fā)相關(guān)資料推薦

    傳輸。所以導(dǎo)致使用 “PCIE連接的NPU” 會(huì)比使用 “USB3.0方式連接的NPU實(shí)際推理速度上慢很多。為了解決這個(gè)問題,我們制作了相關(guān) PCIE-NPU
    發(fā)表于 07-01 17:38

    NPU驅(qū)動(dòng)與mini驅(qū)動(dòng)的區(qū)別在哪

    RKNPU本工程主要為瑞芯微NPU提供驅(qū)動(dòng)、示例等。適用平臺(tái)RK1808/RK1806RV1109/RV1126注意:RK3399Pro用戶狀態(tài)的庫(kù)和RK1808是不一樣的RKNN 工具包?
    發(fā)表于 08-19 17:12

    恩智浦最新的應(yīng)用處理器 i.MX 95采用專有NPU IP進(jìn)行片上AI加速

    恩智浦最新的應(yīng)用處理器 i.MX 95 使用恩智浦專有的 NPU IP 進(jìn)行片上 AI 加速,這與之前使用第三方 IP 的 i.MX 系列產(chǎn)品有所不同。實(shí)際上,越來(lái)越多的嵌入式處理器公司正在使用自己
    發(fā)表于 02-16 11:20

    tensorflow-lite可以通過NPU加速運(yùn)行嗎?

    你能幫我確定構(gòu)建/安裝所需的最小包,以便 tensorflow-lite 可以通過 NPU 加速運(yùn)行嗎?我知道 NPX 將它捆綁為 packagegroup-imx-ml - 但它包含的內(nèi)容遠(yuǎn)遠(yuǎn)
    發(fā)表于 04-14 08:17

    i.MX93 EVKCM上的EthosU NPU上推斷AI模型時(shí)遇到錯(cuò)誤怎么解決?

    嘗試 i.MX93 EVKCM 上的 EthosU NPU 上推斷 AI 模型時(shí)遇到錯(cuò)誤。 使用的 BSP:Linux imx93evk 6.1.1+g29549c7073bf 首先,我從
    發(fā)表于 06-05 11:36

    【書籍評(píng)測(cè)活動(dòng)NO.18】 AI加速器架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)

    經(jīng)驗(yàn)總結(jié)圖解NPU算法、架構(gòu)與實(shí)現(xiàn),從零設(shè)計(jì)產(chǎn)品級(jí)加速器當(dāng)前,ChatGPT和自動(dòng)駕駛等技術(shù)正在為人類社會(huì)帶來(lái)巨大的生產(chǎn)力變革,其中基于深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)的AI計(jì)算扮演著至關(guān)重要的角色。新的計(jì)算范式需要
    發(fā)表于 07-28 10:50

    驍龍720加入NPU神經(jīng)網(wǎng)絡(luò)計(jì)算單元 專注AI加速

    目前還沒有驍龍720的具體規(guī)格資料,只知道它是驍龍710的加強(qiáng)版,據(jù)說(shuō)重點(diǎn)會(huì)加入NPU神經(jīng)網(wǎng)絡(luò)計(jì)算單元(類似華為麒麟970),專用于AI加速。
    的頭像 發(fā)表于 07-25 16:39 ?3721次閱讀

    npu是什么意思?npu芯片是什么意思?npu到底有什么用?

    。正如CPU和GPU一樣,NPU也是一種專門的處理器芯片,但不同于前二者,NPU被用于深度學(xué)習(xí)領(lǐng)域。NPU深度學(xué)習(xí)領(lǐng)域的應(yīng)用可以提高運(yùn)算速度,降低功耗,
    的頭像 發(fā)表于 08-27 17:03 ?4.7w次閱讀

    什么是NPU?什么場(chǎng)景需要配置NPU?

    人工智能(AI)技術(shù)如火如荼的今天,NPU神經(jīng)處理單元(Neural Processing Unit)作為一種新興的硬件加速器,正在成為ARM主板配置中的新寵。與傳統(tǒng)的CPU和GPU
    的頭像 發(fā)表于 10-11 10:13 ?1.7w次閱讀
    什么是<b class='flag-5'>NPU</b>?什么場(chǎng)景需要配置<b class='flag-5'>NPU</b>?

    NPU深度學(xué)習(xí)中的應(yīng)用

    隨著人工智能技術(shù)的飛速發(fā)展,深度學(xué)習(xí)作為其核心驅(qū)動(dòng)力之一,已經(jīng)眾多領(lǐng)域展現(xiàn)出了巨大的潛力和價(jià)值。NPU(Neural Processing Unit,神經(jīng)網(wǎng)絡(luò)處理單元)是專門為深度學(xué)習(xí)
    的頭像 發(fā)表于 11-14 15:17 ?3410次閱讀

    NPU技術(shù)如何提升AI性能

    隨著人工智能技術(shù)的飛速發(fā)展,深度學(xué)習(xí)作為AI領(lǐng)域的核心驅(qū)動(dòng)力,對(duì)計(jì)算能力的需求日益增長(zhǎng)。NPU技術(shù)應(yīng)運(yùn)而生,為AI性能的提升提供了強(qiáng)大的硬件支持
    的頭像 發(fā)表于 11-15 09:11 ?2748次閱讀