眼睛是大自然進化杰作的結果。從感光視網(wǎng)膜到攜帶信息的視神經(jīng)，再到分析神經(jīng)系統(tǒng)——自然視覺是一項高度復雜的數(shù)據(jù)處理活動，它使用低功耗神經(jīng)網(wǎng)絡。對所見事物的智能抽象使人類和動物能夠在幾分之一秒內得出結論，眼睛捕捉到的可見光與他們的生活有什么相關性。這種自然智能的杰作用了數(shù)百萬年的時間來進化。人工智能 （AI） 系統(tǒng)的開發(fā)人員需要更快地實現(xiàn)這一壯舉。

因此，人工智能加速應用程序的開發(fā)人員正在轉向緊湊型和預配置的嵌入式視覺套件，這些套件以節(jié)能的方式結合了經(jīng)過驗證的人工智能硬件和軟件。目前，人們對專用邊緣計算解決方案特別感興趣。對于 AI 加速系統(tǒng)，這是根據(jù)圖像信息實時做出明智決策的神經(jīng)痛點。通過基于云的分析繞道而行需要更長的時間，并且取決于持續(xù)的網(wǎng)絡可用性。而在邊緣，您始終處于動作現(xiàn)場，這使得在幾分之一秒內自動獲取和評估視覺圖像數(shù)據(jù)成為可能。

邊緣解決方案必須穩(wěn)健可靠

對于這種視覺邊緣計算系統(tǒng)來說，強大而可靠的硬件是絕對必要的，因為數(shù)據(jù)無法在受保護的空調環(huán)境中處理，就像云計算一樣。無論是部署在戶外還是在野外，在車輛上旅行還是坐在制造車間，視覺邊緣計算系統(tǒng)都必須具有彈性。

對 AI 視覺的需求來自視覺應用，例如農業(yè)中的成熟水果檢測、制造業(yè)中的自動化產品檢測、樓宇自動化中的訪問控制或銷售點零售購物車中的產品識別。基于邊緣的實時分析優(yōu)于人工檢查，因為它每周 7 天、每天 24 小時工作。這些優(yōu)勢對于惡劣環(huán)境中的工業(yè)操作尤為重要。以監(jiān)控風力渦輪機為例，或對生產過程進行安全相關的視頻監(jiān)控。麥肯錫的一項研究發(fā)現(xiàn)，人工智能系統(tǒng)還可以通過預測性維護將工廠利用率和生產力提高多達 20%。帶有自動缺陷檢測的視覺質量監(jiān)控甚至可以將生產率提高多達 50%。

所有這些應用程序的共同點是，它們必須在提供的圖像、視頻或機器數(shù)據(jù)中找到模式以進行決策。更重要的是，這些應用程序必須能夠識別模式或對象，即使它們與模型 100% 不匹配。例如，必須正確識別交通標志，無論它是從哪個角度記錄的，或者是否有一半被雪或泥土覆蓋。這需要挖掘大量數(shù)據(jù)。

標準 CPU 不適用于此類任務，因為它們針對具有最高數(shù)學正確性的一次計算過程進行了優(yōu)化。因此需要另一種計算方法。人工智能需要人工神經(jīng)網(wǎng)絡來模仿大腦的直觀工作方式。與必須準確計算所有內容和每個點以做出決定相比，這使得識別和決策制定速度更快。

NPU——嵌入式視覺系統(tǒng)的核心

神經(jīng)形態(tài)處理器或神經(jīng)處理單元 （NPU） 對于為邊緣的深度學習和機器學習提供這種計算性能是必不可少的。NPU 擅長分析圖像和模式，使其成為 AI 加速嵌入式視覺系統(tǒng)的中央計算單元。受大腦神經(jīng)網(wǎng)絡架構的啟發(fā)，神經(jīng)形態(tài)處理器是事件驅動的，只是偶爾需要電源。這意味著 NPU 僅消耗幾瓦，即使對于最高的計算和圖形任務也是如此。

NPU 是高度專業(yè)化的計算核心，經(jīng)過優(yōu)化以執(zhí)行機器學習算法。它們不僅可以處理高度并行的工作負載，還可以極快地計算重復性任務。這對于卷積神經(jīng)網(wǎng)絡很重要，因為卷積神經(jīng)網(wǎng)絡中的數(shù)據(jù)點必須在數(shù)千個范圍內進行折疊。例如：在全高清圖像中，大約需要處理 200 萬像素。這需要每秒處理許多操作 （OPS），而 NPU 需要實現(xiàn)每秒數(shù)萬億次操作 （TOPS） 的性能才能滿足邊緣計算要求。但是，即使是極其強大的 CPU 也無法提供這種性能，這怎么可能呢？在這里，另一個區(qū)別點開始發(fā)揮作用：單個 AI 指令不像 x86 或 ARM CPU 等標準應用處理器的指令集那么復雜。因此，每個計算步驟消耗的資源沒有 32 位或 64 位系統(tǒng)那么多。但最終，工程師在他們的應用中需要兩者。

為邊緣定制的入門套裝

這就是為什么像 NXP 的 i.MX 8M Plus 這樣的處理器將這樣的 NPU 與四個標準 Arm Cortex-A53 內核和一個 Arm Cortex-M7 控制器集成在一起，以構建適合機器學習并可以高效執(zhí)行 AI 算法的應用處理器。但在視覺應用中，只有當圖像以必要的質量實時交付時，所有這些才有意義。因此，工程師還需要一個圖像信號處理器 （ISP），以便在采集過程中對圖像和視頻進行預處理。這種預處理質量越高，NPU 中的后處理就越準確。因此，高質量的 ISP 不僅適用于高性能工業(yè)圖像處理；在任何可以使用圖像處理算法來產生更好的視覺效果的地方，這都是一個福音。

人工智能加速的眼睛

另一個重點是如何接收視覺數(shù)據(jù)。視覺數(shù)據(jù)通信的一種渠道是 MIPI CSI-2.0。如果該接口也預集成在處理器中，則不需要額外的轉換器模塊。這不僅簡化了系統(tǒng)設計，而且還最大限度地減少了物理占用空間。小尺寸、低功耗和最小散熱是基于人工智能的邊緣視覺應用的基本要求，適用于物流和農業(yè)中的電池供電自動駕駛汽車等應用。

同時，應用程序還應支持連接相機的不同通信標準，例如 USB 3 或 GigE 視覺，這些標準在機器人和質量檢測的工業(yè)應用中很常見。特別是 GigE 視覺允許相機和 NPU 之間的距離更長。例如，這對于公共汽車和火車中的視頻監(jiān)控應用至關重要。

專為人機交互而設計

但是基于 NPU 的嵌入式視覺系統(tǒng)的應用范圍遠遠超出了人或物體的識別。例如，手勢和情感識別與自然語言處理相結合，將人與機器之間的交互通信應用提升到了一個新的水平。超短的響應時間和精確的本地化有助于優(yōu)化工業(yè)制造中的機器人產品組裝或倉庫物流。并且配備了高安全標準，甚至可以在客戶服務或醫(yī)療保健等敏感領域找到應用。

構建塊靈活性

鑒于可能的嵌入式視覺應用的多樣性，不言而喻，該領域的技術平臺必須允許開發(fā)定制應用。一個通用的解決方案將不適合。因此，開發(fā)人員需要一組預配置的構建塊，他們可以輕松地適應他們的個人需求。這些不僅應包括硬件組件，還應包括軟件支持。

在硬件方面，采用模塊化計算機的模塊化方法是一種廣泛使用且高效的設計原則。計算機模塊將所有必需的組件集成在一個應用就緒的構建塊中：具有集成 NPU、ISP 和 MIPI CSI-2.0 支持的 SoC，例如 NXP 的 i.MX 8M Plus、RAM 和用于 USB 等附加接口的通用控制器，以太網(wǎng)和 MMC 在一個具有可擴展性能的標準化模塊上。整個構建塊被插入到特定應用的載板上，該載板只執(zhí)行所需的外部接口，并且可以很容易地設計成適合所需的物理尺寸和堅固性。

定制視覺

如果這些模塊不僅帶有標準的 BSP，而且還帶有對中間件和應用程序級別的全面軟件支持，那么這些模塊的設計是最容易的。為了獲得最大的靈活性，開發(fā)人員還需要預配置工具，例如可用于 MIPI CSI-2.0 以及 USB 3 或 GigE 等其他工業(yè)相機標準的視覺相機 SDK。軟件解決方案應集成推理引擎和庫，例如 Arm 神經(jīng)網(wǎng)絡 （NN） 和基于開源的 TensorFlow Lite，以最有效地提供所需的 AI 發(fā)現(xiàn)。恩智浦 eIQ 機器學習環(huán)境等軟件開發(fā)平臺為開發(fā)人員提供了適用于恩智浦微處理器和微控制器的專用庫和開發(fā)工具。

憑借其 AI 入門套件（參見圖 1），康佳特制作了一個具有集成軟件支持的模塊，可用于加速 NXP 處理器的實施。

該套件的核心是一個信用卡大小的 SMARC 2.1 計算機模塊 （COM）（圖 2）。該模塊基于 i.MX 8M Plus 處理器，可讓開發(fā)人員快速、安全地將 AI 視覺引入其邊緣應用程序。

該模塊適用于 -40 至 +85°C 溫度范圍內的工業(yè)應用，工作功耗低，僅為 2 至 6 瓦，并帶有被動冷卻功能。這使其非常適合各種戶外和移動車輛應用。

結論

嵌入式視覺的集成對于人工智能加速系統(tǒng)的成功至關重要——無論它們部署在自動駕駛汽車、視頻監(jiān)控攝像頭還是協(xié)作機器人中。開發(fā)人員可以使用預配置的嵌入式視覺構建模塊（例如康佳特的 AI 入門套件）更輕松、更快速地創(chuàng)建自定義解決方案。康佳特與 Basler 合作開發(fā)的這個構建模塊平臺將 NXP i.MX 8 Plus 處理器與其集成的神經(jīng)處理單元 （NPU） 相結合。

Martin Danzer是康佳特的產品管理總監(jiān)。他在德根多夫技術大學學習電氣工程，在計算機模塊的技術服務、開發(fā)管理和產品管理方面擁有 20 多年的經(jīng)驗，包括他在 Kontron 和 JUMPtec AG 的時間。