機器學習的本質(zhì)是讓計算機能夠更有效率的模仿人類的行為，特別在圖像分類、圖像識別、語音識別等領域，機器學習能夠在分秒之間，集中處理數(shù)以百萬計的計算。過去在合理的成本下，這樣的處理能力是無法想象的，直到最近幾年才能夠?qū)崿F(xiàn)。這主要是因為，如若這些處理不在邊緣實現(xiàn)，就要放到云端來進行。數(shù)據(jù)要被上傳到云端，這樣的話，我們就會擔心誰會看到這些數(shù)據(jù)。我們相信云端服務期的運營商和負責人嗎？顯然答案是否定的，因此在本地進行邊緣計算，用戶隱私就能夠更好的被保護，響應速度也會更快，可靠性也會更強，因為即便服務器斷電，本地設備依然可以穩(wěn)定工作，甚至設備可以在沒有網(wǎng)絡的偏遠地區(qū)正常工作。

i.MX8M Plus 應用處理器

通過i.MX8M Plus ，NXP將機器學習帶到了邊緣設備中，這款產(chǎn)品不僅僅是達到了2萬億次每秒這樣的強大計算能力。只是做到這樣的計算性能并不困難，但NXP所實現(xiàn)的是帶來了模型壓縮的優(yōu)化以及針對稀疏性的優(yōu)化，稀疏指的是機器學習算法參數(shù)或者數(shù)據(jù)中有大量權(quán)重為0，進而能夠避免在推理時支付這些模型系數(shù)的存儲費用，計算效率將會大大增加。模型壓縮同樣也很重要，鑒于計算過程中存在大量的數(shù)據(jù)交換，如果足夠壓縮，那么對于系統(tǒng)內(nèi)存的占用就會降到最低。另外同樣牽涉到系統(tǒng)內(nèi)存的一點是i.MX8M Plus 搭載 DRAM 控制器能夠進行每秒4G 處理，是 NXP有史以來 DRAM 速度之最。

i.MX8M Plus 與機器學習、機器視覺

機器學習是基于圖像數(shù)據(jù)的，數(shù)據(jù)的來源通常是一個系統(tǒng)中的攝像頭模塊，而攝像頭模塊需要一個圖像處理單元，也就是ISP。談到 i.MX8M Plus 的ISP 單元，在很多系統(tǒng)中，攝像頭可能距離目標非常遠，為了得到你需要的細節(jié)，其分辨率必須足夠高，比如4K分辨率，也就是800萬像素。

處理如此高清的影像數(shù)據(jù)，就需要ISP 的協(xié)助?？赡軐τ诘头直媛实囊曨l，ISP 并非必需，在很多系統(tǒng)中，用戶可能并沒有意識到，攝像模塊是否集成ISP。但在高分辨率下，就需要 ISP 被集成在處理器中，就像i.MX8M Plus 這樣。有趣的是，NXPi.MX8MPlus 中實際上集成了兩個 ISP，兩路攝像頭輸入。因而在大多數(shù)的應用場景下，將會獲得更立體的圖像，就像人的兩只眼睛一樣，可以感知圖像的深度。另外一個應用是兩路攝像頭，其一作為廣角或者魚眼視角，另一路則聚焦某一場景的特寫。除此之外，還有其它的應用需要用到這樣的功能。

圖像處理需要很強的計算能力，ISP的功能理論上也可以由 CPU 或 GPU 來實現(xiàn)，但要將這樣的計算量，將這些數(shù)據(jù)轉(zhuǎn)化為系統(tǒng)可識別的形式和參數(shù)再進行計算和處理，涉及到的工作量太大了。因此在這樣的系統(tǒng)下，必須使用一個專門處理圖像任務的單元，也就是 ISP，就像 i.MX8M Plus所做的那樣。

i.MX8M Plus 高動態(tài)范圍（HDR）支持

i.MX8MPlus還有一個重點是HDR，也就是高動態(tài)范圍，你可能在很多手機上看到過這個詞，但在嵌入式應用以及消費類產(chǎn)品甚至工業(yè)應用中HDR 都非常重要。HDR 主要是融合多重曝光的圖像，具體表現(xiàn)為拍攝亮度不同的兩張圖像，一張是長曝光，一張是短曝光，其中一張能夠幫助獲得更好的高光部分的細節(jié)，另一張則獲得更好的低亮度區(qū)域的細節(jié)。甚至可以拍三張或者更多，來融合成為一張圖像。這樣高光和暗部的細節(jié)都可以保留，這在某些特定場景中非常重要，比如在家里，窗戶邊很亮，有的地方卻很暗，有了 HDR，所有的細節(jié)你都可以看清楚。

扭曲矯正帶來更好的圖像

在攝像頭相關(guān)應用中，扭曲矯正是一個非常重要的功能。攝像頭接收到的圖像可能是扭曲的，類似觀看魚缸的場景。你可以看到很多的東西，但它們都是扭曲的。扭曲矯正，可以將圖像恢復為人類、機器學習可以識別的正常形狀，直線曲線區(qū)別分明，也沒有倒置的現(xiàn)象，這就是扭曲矯正引擎所負責的。但引擎能做的不僅僅是這些，除了能夠矯正這些意外的干擾，同時它也可以矯正由于攝像頭問題導致的圖像不清晰、變形等。

引擎同樣可以對像素進行處理，獲得更好的圖像質(zhì)量。針對i.MX8MPlus 的 ISP 架構(gòu)我們的設計保證了所有的處理都以流的形式進行，也就是說ISP直接從攝像頭接收圖像進行處理，將它們輸出到系統(tǒng)內(nèi)存。ISP 幾乎不需要從系統(tǒng)重新構(gòu)建圖像再進行處理輸出，這樣就可以帶來非常低的延遲表現(xiàn)，以及非常高效的針對圖像的處理表現(xiàn)。iSP 針對圖像增強，進行了非常多的處理，比如降噪處理，這在暗光環(huán)境中非常重要。在這樣的環(huán)境下，很多像素都會被進行涂抹，但你不能對太多區(qū)域都進行涂抹，否則你的圖像將會變得非常模糊。所以你必須使用 ISP 來分辨，哪里是可以進行涂抹處理的，哪里則是需要清晰呈現(xiàn)的內(nèi)容。其它的處理任務包括，檢測圖像傳感器的壞點，確保正常工作，以及白平衡的調(diào)節(jié)，分辨出不同的光照環(huán)境，例如日光、燈光等等。還有提供信息，幫助自動曝光以及對焦，所有的這些都是由ISP 來完成的。

H.265視頻編碼

在許多應用中，攝像頭接入系統(tǒng)，數(shù)據(jù)被送入機器學習算法或是直接被存儲在網(wǎng)絡中。不管圖像被送入何處，它們還是需要被存儲在某些地方，比如服務器或者是本地設備。你不可能直接保存原始文件，因為原始的文件實在是太大了，因此必須對數(shù)據(jù)進行編碼，i.MX8M plus 的視頻編碼是非常高效的。我們支持 h.265編碼算法，比起業(yè)內(nèi)廣泛使用的 h.264更加先進和高效。

iMX8M Plus在工業(yè)應用中的特色

i.MX8M Plus有一些針對工業(yè)應用的特色，其一就是 ECC，也就是錯誤糾正代碼。用來在用戶無需感知的情況下，檢測出內(nèi)存的錯誤，甚至進行修復。

這異常的重要，因為在某些應用中內(nèi)存的錯誤會帶來嚴重的后果，雖然不會導致硬件的永久損壞，但當讀取內(nèi)存的軟件和程序時有可能會崩潰。

為了避免這些情況的發(fā)生，你就需要ECC 來進行檢測和修復，這樣軟件的錯誤率，也就是我們常說的 SER將會大大降低。i.MX8M Plus在緩存和片上RAM 中都帶有ECC，而DRAM 總線還支持在線 ECC，它不需要存儲任何額外的位，就能夠?qū)CC 算法與主數(shù)據(jù)同時發(fā)送出去。

TSN也是 i.MX8M plus 中的亮點，tsn 指的是時間敏感網(wǎng)絡。在工業(yè)應用中你希望可以確保能夠在對的時間點將數(shù)據(jù)發(fā)送出去，而通常以太網(wǎng)中任何人在任何時間都有可能正在發(fā)送數(shù)據(jù)?？赡軙斐蓳矶?，可能你需要晚一些再發(fā)一次，在工業(yè)應用中，這無疑是會帶來問題的。而 TSN 則能夠很好的解決這樣的困擾。i.MX8M Plus同樣也支持一些工業(yè)級的外設，我們甚至集成了800MHz的 Cortex-M7協(xié)處理器來協(xié)助組合。組合運行操作系統(tǒng)，M7內(nèi)核同時可以進行一些實時性的控制，來確保低延遲。我們還有兩路 CANFD用于本地與系統(tǒng)或是與網(wǎng)絡低延遲的通信。

i.MX8M Plus所提供的所有的這些特性和外設，能夠助力工業(yè)及應用的設計為工業(yè)應用帶來無限的可能。

如何測評i.MX8MPlus

作為NXP官方金牌合作伙伴，飛凌嵌入式與NXP深入合作，推出了基于i.MX 8M Plus處理器的開發(fā)套件OKMX8MP-C開發(fā)板與FETMX8MP-C核心板，除了繼承了上述CPU能力外，飛凌嵌入式在iMX8MPlus核心板上還集成了LPDDR4、eMMC、PMIC等關(guān)鍵元器件，形成了可以獨立運行的最小系統(tǒng)；同時，考慮低成本基礎應用以及高端NPU應用的不同需求，DDR可選擇2GB、4GB、6GB、8GB多種版本；這款核心板的優(yōu)勢不僅僅在于性能上，其功能也是十分的豐富，雙千兆以太網(wǎng)、雙CAN-FD、2個USB3.0、PCIe3.0、LVDS、HDMI、MIPI-DSI、MIPI-CSI等接口面面俱到。

在《重磅發(fā)布| FETMX8MP-C核心板，高性能、高集成，閃耀上市》一文中，飛凌嵌入式也對這款核心板的特點進行了一一剖析，相信您會對其有更深入的了解，發(fā)現(xiàn)她的美，為您的產(chǎn)品增添一份色彩。點擊查看原文