91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

X3派基于PaddlePaddle的推理模型部署

地瓜機(jī)器人 ? 2022-12-14 15:56 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

一、目標(biāo)

本次工作的目標(biāo)是在旭日X3派上部署PaddlePaddle的開(kāi)源模型,至于PaddlePaddle模型轉(zhuǎn)換,已有大佬寫(xiě)過(guò)很贊的教程,自我感覺(jué)不能超越,于是本文不再提及。

飛槳(PaddlePaddle)是集深度學(xué)習(xí)核心框架、工具組件和服務(wù)平臺(tái)為一體的技術(shù)先進(jìn)、功能完備的開(kāi)源深度學(xué)習(xí)平臺(tái),已被中國(guó)企業(yè)廣泛使用,深度契合企業(yè)應(yīng)用需求,擁有活躍的開(kāi)發(fā)者社區(qū)生態(tài)。提供豐富的官方支持模型集合,并推出全類型的高性能部署和集成方案供開(kāi)發(fā)者使用。

二、環(huán)境準(zhǔn)備

1、python環(huán)境

旭日X3派的官方img支持的是python3.8,這個(gè)跟PaddlePaddle要求的3.6版本不同,因?yàn)镻addlePaddle SDK使用的tensor模塊等依賴python3.6,所以要在X3派系統(tǒng)中使用python3.6。網(wǎng)上很多種方法,譬如通過(guò)pyenv、anaconda等python版本管理工具進(jìn)行python版本切換,因?yàn)樵趯?shí)際使用中可以指定使用的python版本,為什么不能再裝個(gè)python3.6呢?需要python3.8的時(shí)候敲python3,需要python3.6的時(shí)候敲python3.6,感覺(jué)不錯(cuò)。

sudo apt-get install software-properties-common -y sudo add-apt-repository ppa:deadsnakes/ppa sudo apt-get update sudo apt-get install python3.6 -y sudo apt-get install libpython3.6 -y sudo apt-get install python3.6-dev -y sudo apt-get install python3.6-distutils -y

一系列命令敲下來(lái),python3.6環(huán)境已經(jīng)按照完成,直接使用即可。

1.png

2、SDK下載

直接在官網(wǎng)(EasyEdge端計(jì)算模型生成平臺(tái))下載PaddlePaddle SDK,選擇需要的SDK即可,因?yàn)槭且渴鹪赬3派上,所以選擇了 操作系統(tǒng)Linux,且部署芯片為通用ARM芯片的模型,這次我選擇的是PPLCNetV2。

PPLCNet是百度團(tuán)隊(duì)設(shè)計(jì)的輕量高性能網(wǎng)絡(luò)PP-LCNet,所提方案在圖像分類任務(wù)上取得了比ShuffleNetV2、MobileNetV2、MobileNetV3以及GhostNet更優(yōu)的延遲-精度均衡。

PPLCNetV2當(dāng)然比PPLCNetV1牛逼了,一會(huì)試試圖像分類功能。

三、模型部署

1、PaddlePaddle安裝

直接使用如下命令安裝PaddlePaddle:

python3.6 -m pip install http://aipe-easyedge-public.bj.bcebos.com/easydeploy/paddlelite-2.11-cp36-cp36m-linux_aarch64.whl

記得一定要用python3.6…

2、安裝WHL包

將2.2節(jié)下載的SDK包解壓縮,傳輸至X3派,首先安裝python目錄下(當(dāng)然也可以選擇C++,python直接運(yùn)行了,方便)的BaiduAI_EasyEdge_SDK-1.3.1-cp36-cp36m-linux_aarch64.whl包,記得用python3.6,中間可能會(huì)根據(jù)系統(tǒng)的情況,下載安裝numpy,opencv-python等,耐心等待即可,直到安裝成功。

2.png

四、預(yù)測(cè)圖像

直接在系統(tǒng)上運(yùn)行的命令格式如下,記得使用python3.6:

python3.6 demo_x86_cpu.py {模型RES文件夾}{測(cè)試圖片路徑}

1、鴨子

結(jié)果如下:

root@ubuntu:~/EasyEdge-Linux-arm/python/infer_demo# python3.6 demo_armv8_cpu.py ../../RES /root/ducks.jpg 2022-09-17 00:36:30 INFO [EasyEdge] [demo_armv8_cpu.py:38] 548210040848: Init paddlelite engine... Loading topology data from ../../RES/model Loading params data from ../../RES/params 1. Model is successfully loaded! 2022-09-17 00:36:31 INFO [EasyEdge] [demo_armv8_cpu.py:38] 548210040848: Paddlelite engine version: v2.11 infer done! {'confidence': 0.36856314539909363, 'index': 97, 'label': 'n01847000 drake'}

2、螞蟻

測(cè)試結(jié)果,ant, emmet, pismire都是螞蟻:

root@ubuntu:~/EasyEdge-Linux-arm/python/infer_demo# python3.6 demo_armv8_cpu.py ../../RES /root/ants.jpg 2022-09-17 00:37:40 INFO [EasyEdge] [demo_armv8_cpu.py:38] 548581892112: Init paddlelite engine... Loading topology data from ../../RES/model Loading params data from ../../RES/params 1. Model is successfully loaded! 2022-09-17 00:37:41 INFO [EasyEdge] [demo_armv8_cpu.py:38] 548581892112: Paddlelite engine version: v2.11 infer done! {'confidence': 0.9655985832214355, 'index': 310, 'label': 'n02219486 ant, emmet, pismire'}

本文轉(zhuǎn)自地平線開(kāi)發(fā)者社區(qū)
原作者:大菠蘿Alpha

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 嵌入式
    +關(guān)注

    關(guān)注

    5200

    文章

    20470

    瀏覽量

    334401
  • Linux
    +關(guān)注

    關(guān)注

    88

    文章

    11768

    瀏覽量

    219105
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3757

    瀏覽量

    52130
  • python
    +關(guān)注

    關(guān)注

    57

    文章

    4877

    瀏覽量

    90090
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    商湯科技正式開(kāi)源多模態(tài)自主推理模型SenseNova-MARS

    今日,商湯正式開(kāi)源多模態(tài)自主推理模型 SenseNova-MARS(8B/32B 雙版本),其在多模態(tài)搜索與推理的核心基準(zhǔn)測(cè)試中以 69.74 分超越Gemini-3-Pro(69.06 分)、GPT-5.2(67.64 分)。
    的頭像 發(fā)表于 01-30 10:13 ?564次閱讀
    商湯科技正式開(kāi)源多模態(tài)自主<b class='flag-5'>推理模型</b>SenseNova-MARS

    阿里巴巴發(fā)布通義千問(wèn)旗艦推理模型Qwen3-Max-Thinking

    今天,我們正式發(fā)布千問(wèn)旗艦推理模型Qwen3-Max-Thinking,創(chuàng)下數(shù)項(xiàng)權(quán)威評(píng)測(cè)全球新紀(jì)錄。
    的頭像 發(fā)表于 01-27 15:47 ?422次閱讀
    阿里巴巴發(fā)布通義千問(wèn)旗艦<b class='flag-5'>推理模型</b>Qwen<b class='flag-5'>3</b>-Max-Thinking

    LLM推理模型是如何推理的?

    這篇文章《(How)DoReasoningModelsReason?》對(duì)當(dāng)前大型推理模型(LRM)進(jìn)行了深刻的剖析,超越了表面的性能宣傳,直指其技術(shù)本質(zhì)和核心局限。以下是基于原文的詳細(xì)技術(shù)原理、關(guān)鍵
    的頭像 發(fā)表于 01-19 15:33 ?523次閱讀
    LLM<b class='flag-5'>推理模型</b>是如何<b class='flag-5'>推理</b>的?

    Termux手機(jī)攝像頭采集圖像/視頻流 部署 YOLO 模型推理

    Termux手機(jī)攝像頭采集圖像/視頻流 部署 YOLO 模型推理
    的頭像 發(fā)表于 12-14 07:26 ?2887次閱讀

    什么是AI模型推理能力

    NVIDIA 的數(shù)據(jù)工廠團(tuán)隊(duì)為 NVIDIA Cosmos Reason 等 AI 模型奠定了基礎(chǔ),該模型近日在 Hugging Face 的物理推理模型排行榜中位列榜首。
    的頭像 發(fā)表于 09-23 15:19 ?1294次閱讀

    如果大模型是一片星空,誰(shuí)是北斗?

    文心X1.1,破解推理模型的發(fā)展瓶頸
    的頭像 發(fā)表于 09-10 18:02 ?3567次閱讀
    如果大<b class='flag-5'>模型</b>是一片星空,誰(shuí)是北斗?

    NVIDIA Nemotron Nano 2推理模型發(fā)布

    NVIDIA 正式推出準(zhǔn)確、高效的混合 Mamba-Transformer 推理模型系列 NVIDIA Nemotron Nano 2。
    的頭像 發(fā)表于 08-27 12:45 ?1812次閱讀
    NVIDIA Nemotron Nano 2<b class='flag-5'>推理模型</b>發(fā)布

    奇瑞風(fēng)云X3系列雙車(chē)上市

    8月16日,奇瑞汽車(chē)旗下風(fēng)云品牌全新方盒子產(chǎn)品序列——風(fēng)云X3與風(fēng)云X3 PLUS正式宣告上市。風(fēng)云X3系列基于iCAR 03系列煥新升級(jí)而來(lái),在造型設(shè)計(jì)、動(dòng)力性能、智能科技、功能配置及工藝品質(zhì)等維度實(shí)現(xiàn)全方位躍升。
    的頭像 發(fā)表于 08-19 11:48 ?1127次閱讀

    澎峰科技完成OpenAI最新開(kāi)源推理模型適配

    澎峰科技現(xiàn)已完成 OpenAI 最新開(kāi)源推理模型 gpt-oss-20b 在 DeepFusion 大模型一體機(jī)上的原生適配與優(yōu)化,用戶可一鍵啟用這顆“小而強(qiáng)悍”的新引擎,在本地享受企業(yè)級(jí) AI 生產(chǎn)力!
    的頭像 發(fā)表于 08-14 11:34 ?1417次閱讀

    利用NVIDIA推理模型構(gòu)建AI智能體

    開(kāi)放式推理模型能夠更快、更廣泛地進(jìn)行思考,為客戶服務(wù)、網(wǎng)絡(luò)安全、制造、物流和機(jī)器人等領(lǐng)域的 AI 智能體生成更明智的結(jié)果。
    的頭像 發(fā)表于 08-13 14:32 ?1613次閱讀
    利用NVIDIA<b class='flag-5'>推理模型</b>構(gòu)建AI智能體

    基于米爾瑞芯微RK3576開(kāi)發(fā)板部署運(yùn)行TinyMaix:超輕量級(jí)推理框架

    推理庫(kù),可以讓你在任意低資源MCU上運(yùn)行輕量級(jí)深度學(xué)習(xí)模型。關(guān)鍵特性核心代碼少于 400行(tm_layers.c+tm_model.c+arch_cpu.h), 代碼段(.text)少于3KB 低
    發(fā)表于 07-25 16:35

    邊緣計(jì)算中的機(jī)器學(xué)習(xí):基于 Linux 系統(tǒng)的實(shí)時(shí)推理模型部署與工業(yè)集成!

    你好,旅行者!歡迎來(lái)到Medium的這一角落。在本文中,我們將把一個(gè)機(jī)器學(xué)習(xí)模型(神經(jīng)網(wǎng)絡(luò))部署到邊緣設(shè)備上,利用從ModbusTCP寄存器獲取的實(shí)時(shí)數(shù)據(jù)來(lái)預(yù)測(cè)一臺(tái)復(fù)古音頻放大器的當(dāng)前健康狀況。你將
    的頭像 發(fā)表于 06-11 17:22 ?1010次閱讀
    邊緣計(jì)算中的機(jī)器學(xué)習(xí):基于 Linux 系統(tǒng)的實(shí)時(shí)<b class='flag-5'>推理模型</b><b class='flag-5'>部署</b>與工業(yè)集成!

    詳解 LLM 推理模型的現(xiàn)狀

    領(lǐng)域的最新研究進(jìn)展,特別是自DeepSeekR1發(fā)布后興起的推理時(shí)間計(jì)算擴(kuò)展相關(guān)內(nèi)容。在LLM中實(shí)施和改進(jìn)推理簡(jiǎn)單來(lái)說(shuō),基于LLM的推理模型是一種旨在通過(guò)生成中間
    的頭像 發(fā)表于 04-03 12:09 ?1640次閱讀
    詳解 LLM <b class='flag-5'>推理模型</b>的現(xiàn)狀

    中科馭數(shù)高性能網(wǎng)卡產(chǎn)品 成就DeepSeek推理模型網(wǎng)絡(luò)底座

    2025年初,DeepSeek-V3與DeepSeek-R1推理模型的開(kāi)源引爆了AI社區(qū),這兩款產(chǎn)品作為通用千億級(jí)模型與專用推理優(yōu)化模型,為
    的頭像 發(fā)表于 03-31 11:56 ?699次閱讀
    中科馭數(shù)高性能網(wǎng)卡產(chǎn)品 成就DeepSeek<b class='flag-5'>推理模型</b>網(wǎng)絡(luò)底座

    英偉達(dá)GTC25亮點(diǎn):NVIDIA Dynamo開(kāi)源庫(kù)加速并擴(kuò)展AI推理模型

    DeepSeek-R1 上的吞吐量提高了 30 倍 NVIDIA 發(fā)布了開(kāi)源推理軟件 NVIDIA Dynamo,旨在以高效率、低成本加速并擴(kuò)展 AI 工廠中的 AI 推理模型。 作為 NVIDIA
    的頭像 發(fā)表于 03-20 15:03 ?1280次閱讀