91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

什么是NPU?什么場景需要配置NPU?

亮鉆科技 ? 來源:亮鉆科技 ? 2024-10-11 10:13 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

人工智能AI)技術如火如荼的今天,NPU神經處理單元(Neural Processing Unit)作為一種新興的硬件加速器,正在成為ARM主板配置中的新寵。與傳統(tǒng)的CPUGPU相比,NPU在處理AI任務上的效率更高,在現(xiàn)今ARM主板配置中也變得越來越重要。本文將帶大家了解 NPU 的作用、必要性,以及國產芯片廠商是如何對它進行布局的。

什么是NPU

簡而言之,NPU是專為AI和機器學習(ML)任務量身打造的硬件加速器。相較于傳統(tǒng)的CPU和GPU,NPU針對深度學習算法所需的復雜計算進行了優(yōu)化,能讓自然語言處理、圖像分析等AI任務更加高效地運行。

通常,NPU會與CPU集成在一起。例如,RK3588,RK3588S和RK3568 CPU都已經集成了NPU。

NPU / CPU / GPU的比較:

wKgaomcIidGAeIU8AAEKW2ZrLEU536.jpg

隨著語音識別、圖像識別、人臉識別等AI應用的普及,NPU的優(yōu)勢將越發(fā)明顯。它能夠迅速、高效地處理和學習大量數(shù)據(jù),并顯著提升應用性能。一開始,NPU主要用于提升智能手機的相機功能、電池續(xù)航和安全性。但現(xiàn)在,它正在快速擴展到ARM主板以及更多物聯(lián)網智能終端。

舉例來說,亮鉆部分ARM主板和嵌入式主機就已經內置了NPU,例如:邊緣智能主板D-3588和D-3568、智能物聯(lián)網主板K-3588S、AI工業(yè)電腦主機VEC-3588、邊緣計算主機KEC-3566和KEC-A311D等。

什么場景需要配置NPU

對于需要處理大量AI任務的場景,比如醫(yī)療影像分析、智能安防、智能制造、機器人等,它們需要處理大量復雜的人工智能、圖像處理或高性能計算任務,NPU可以提升設備的性能和用戶體驗。

簡單來說,CPU、GPU和NPU都是運作的核心組件,而NPU能在AI任務方面大顯身手,分擔GPU和CPU的負擔,讓它們更專注于其他傳統(tǒng)任務。在需要執(zhí)行AI任務時,操作系統(tǒng)會評估系統(tǒng)資源,決定由NPU還是GPU來完成任務。

國產芯片廠商深入布局

目前,國產SoC廠商正在加大對NPU的投入,以豐富和提升SoC人工智能處理能力。NPU在SoC中的典型應用主要是機器視覺。

例如,瑞芯微推出的新一代機器視覺方案RV1106及RV1103,在NPU、ISP、視頻編碼、音頻處理等方面性能都有顯著提升,能夠在低待機功耗的同時提供出色的邊緣AI算力。此外,瑞芯微的高性能芯片RV1126配備了2.0Tops的NPU,活體檢測率高達98.48%。晶晨股份的A311D采用了高性能A73內核,并搭載了5Tops的高性能NPU,適用于各類中高端人工智能物聯(lián)網設備。

結語

展望未來,NPU在AI任務的高效處理上,預示著計算技術的新紀元——更快、更直觀、更符合我們的需求。隨著AI技術的日益普及,未來對NPU的需求也將會進一步提升,相信NPU的大時代正在來臨。

深圳亮鉆科技有限公司(亮鉆LIONTRON)成立于2014年,總部位于深圳,在上海、廣州、杭州、南京等地設有分支機構,公司員工近100人。亮鉆專注于物聯(lián)網和人工智能領域的嵌入式ARM平臺解決方案,提供一系列面向行業(yè)的ARM主板與主機,產品方向涵蓋智慧商顯、智慧零售、智慧醫(yī)療、智慧交通、門禁對講、工業(yè)機器視覺、機器人控制、安防視頻分析等相關行業(yè)。

亮鉆將邊緣計算和人工智能的基礎算力和云平臺的增值體驗,賦能給設備制造商、軟件開發(fā)者、運營商、AI算法商、終端用戶等合作伙伴,為國內外近千家合作伙伴提供創(chuàng)新的、高品質、高可靠度的產品與服務,讓他們更專注于其核心競爭力,縮短產品上市時間,并持續(xù)降低成本。

亮鉆建立了嚴格的質量、環(huán)保、安全管理體系,先后通過ISO9001質量管理體系認證、ISO14001環(huán)境管理體系認證,以及CCC、FCC、CE、RoHS等多項產品認證。

亮鉆正與合作伙伴一起,以“探索智能的無限價值”為使命,不斷堅定前行。

使命:探索智能的無限價值。

愿景:構建驅動與連接千萬級智能設備的基礎設施。

價值觀:客戶為師、團隊合作、擁抱變化、誠信、專注、敬業(yè)。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • gpu
    gpu
    +關注

    關注

    28

    文章

    5194

    瀏覽量

    135412
  • AI
    AI
    +關注

    關注

    91

    文章

    39707

    瀏覽量

    301309
  • 人工智能
    +關注

    關注

    1817

    文章

    50091

    瀏覽量

    265210
  • NPU
    NPU
    +關注

    關注

    2

    文章

    373

    瀏覽量

    21083

原文標題:AI時代,秒懂不可不知的NPU,小白也OK

文章出處:【微信號:szlztek,微信公眾號:亮鉆科技】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    IMX95 - NPU 不工作的原因?怎么解決?

    作為標題,我查了很多相關的帖子,似乎 IMX95 NPU 還存在不少問題。這是我迄今為止嘗試過的: 使用TFLite label_image演示程序: CPU A1 與內核 6.6.3 SDK
    發(fā)表于 02-26 11:21

    AI硬件全景解析:CPU、GPU、NPU、TPU的差異化之路,一文看懂!?

    、汽車)。 未來,隨著AI應用的深化,硬件分工將更精細——可能出現(xiàn)專為機器人設計的專用AI芯片,或融合NPU與GPU優(yōu)勢的“邊緣訓練芯片”。但無論如何,“匹配場景
    的頭像 發(fā)表于 12-17 17:13 ?1716次閱讀
    AI硬件全景解析:CPU、GPU、<b class='flag-5'>NPU</b>、TPU的差異化之路,一文看懂!?

    芯原與谷歌聯(lián)合推出開源Coral NPU IP

    芯原股份近日宣布與谷歌聯(lián)合推出面向始終在線、超低能耗端側大語言模型應用的Coral NPU IP。
    的頭像 發(fā)表于 11-13 11:24 ?589次閱讀
    芯原與谷歌聯(lián)合推出開源Coral <b class='flag-5'>NPU</b> IP

    【迅為RK3568開發(fā)板NPU實戰(zhàn)】別再閑置你的NPU!手把手教你玩轉RKNN-Toolkit2 的使用

    【迅為RK3568開發(fā)板NPU實戰(zhàn)】別再閑置你的NPU!手把手教你玩轉RKNN-Toolkit2 的使用
    的頭像 發(fā)表于 11-11 14:21 ?1106次閱讀
    【迅為RK3568開發(fā)板<b class='flag-5'>NPU</b>實戰(zhàn)】別再閑置你的<b class='flag-5'>NPU</b>!手把手教你玩轉RKNN-Toolkit2 的使用

    【RK3568 NPU實戰(zhàn)】別再閑置你的NPU!手把手帶你用迅為資料跑通Android AI檢測Demo,附完整流程與效果

    【RK3568 NPU實戰(zhàn)】別再閑置你的NPU!手把手帶你用迅為資料跑通Android AI檢測Demo,附完整流程與效果
    的頭像 發(fā)表于 11-10 15:58 ?1054次閱讀
    【RK3568 <b class='flag-5'>NPU</b>實戰(zhàn)】別再閑置你的<b class='flag-5'>NPU</b>!手把手帶你用迅為資料跑通Android AI檢測Demo,附完整流程與效果

    如何利用NPU與模型壓縮技術優(yōu)化邊緣AI

    ,AI 模型體積龐大,部署在 NPU上常常面臨困難,這凸顯了模型壓縮技術的重要性。要實現(xiàn)高效的實時邊緣 AI,需要深入探討NPU 與模型壓縮技術(如量化與投影)如何協(xié)同工作。
    的頭像 發(fā)表于 11-07 15:26 ?1253次閱讀
    如何利用<b class='flag-5'>NPU</b>與模型壓縮技術優(yōu)化邊緣AI

    實戰(zhàn)RK3568性能調優(yōu):如何利用迅為資料壓榨NPU潛能-在Android系統(tǒng)中使用NPU

    《實戰(zhàn)RK3568性能調優(yōu):如何利用迅為資料壓榨NPU潛能-在Android系統(tǒng)中使用NPU
    的頭像 發(fā)表于 11-07 13:42 ?633次閱讀
    實戰(zhàn)RK3568性能調優(yōu):如何利用迅為資料壓榨<b class='flag-5'>NPU</b>潛能-在Android系統(tǒng)中使用<b class='flag-5'>NPU</b>

    基于米爾瑞芯微RK3576開發(fā)板的Qwen2-VL-3B模型NPU多模態(tài)部署評測

    與 RK3588 均搭載 6TOPS NPU,但兩者在生態(tài)適配和場景優(yōu)化上各有側重: 框架兼容性:雙平臺均支持 TensorFlow、PyTorch、ONNX 等主流框架,但 RK3576 針對 2B 參數(shù)級
    發(fā)表于 08-29 18:08

    無法在NPU上推理OpenVINO?優(yōu)化的 TinyLlama 模型怎么解決?

    NPU 上推斷 OpenVINO?優(yōu)化的 TinyLlama 模型。 遇到的錯誤: get_shape was called on a descriptor::Tensor with dynamic shape
    發(fā)表于 07-11 06:58

    請問如何在C++中使用NPU上的模型緩存?

    無法確定如何在 C++ 中的 NPU 上使用模型緩存
    發(fā)表于 06-24 07:25

    瑞芯微NPU使用攻略

    核心要點:定義與功能硬件加速單元:RKNPU是集成在瑞芯微芯片中的專用NPU,專注于加速深度學習算法,如圖像識別、目標檢測、語音處理等,同時優(yōu)化功耗與性能平衡。支
    的頭像 發(fā)表于 05-21 15:50 ?2808次閱讀
    瑞芯微<b class='flag-5'>NPU</b>使用攻略

    超越CPU/GPU:NPU如何讓AI“輕裝上陣”?

    和計算速度上更具優(yōu)勢,尤其適合移動設備、邊緣計算和嵌入式AI場景。 ? NPU有幾大核心特點:其一是專用架構,針對神經網絡計算優(yōu)化,支持并行處理大量矩陣運算(如INT8/FP16低精度計算),典型操作包括卷積、池化、注意力機制(Transformer)等;其二是高能效比
    的頭像 發(fā)表于 04-18 00:05 ?3984次閱讀

    請問如何在OpenVINO?工具包中啟用NPU設備?

    有關在 OpenVINO? 工具套件中啟用 NPU 設備的咨詢。
    發(fā)表于 03-06 07:25

    無法使用API實現(xiàn)NPU與OpenVINO?的內存共享怎么辦?

    無法使用 遠程張量 API 實現(xiàn) NPU 與OpenVINO?的內存共享。
    發(fā)表于 03-06 07:11

    為什么無法將OpenVINO?中的NPU設備的流數(shù)設置為多個?

    無法將OpenVINO?推理中 NPU 設備的流數(shù)設置為多個
    發(fā)表于 03-06 06:27