NXP（恩智浦）iMX8M Plus處理器的詳細(xì)介紹

機(jī)器學(xué)習(xí)的本質(zhì)是讓計(jì)算機(jī)能夠更有效率的模仿人類(lèi)的行為，特別在圖像分類(lèi)、圖像識(shí)別、語(yǔ)音識(shí)別等領(lǐng)域，機(jī)器學(xué)習(xí)能夠在分秒之間，集中處理數(shù)以百萬(wàn)計(jì)的計(jì)算。過(guò)去在合理的成本下，這樣的處理能力是無(wú)法想象的，直到最近幾年才能夠?qū)崿F(xiàn)。這主要是因?yàn)?，如若這些處理不在邊緣實(shí)現(xiàn)，就要放到云端來(lái)進(jìn)行。數(shù)據(jù)要被上傳到云端，這樣的話(huà)，我們就會(huì)擔(dān)心誰(shuí)會(huì)看到這些數(shù)據(jù)。我們相信云端服務(wù)期的運(yùn)營(yíng)商和負(fù)責(zé)人嗎？顯然答案是否定的，因此在本地進(jìn)行邊緣計(jì)算，用戶(hù)隱私就能夠更好的被保護(hù)，響應(yīng)速度也會(huì)更快，可靠性也會(huì)更強(qiáng)，因?yàn)榧幢惴?wù)器斷電，本地設(shè)備依然可以穩(wěn)定工作，甚至設(shè)備可以在沒(méi)有網(wǎng)絡(luò)的偏遠(yuǎn)地區(qū)正常工作。

i.MX8M Plus 應(yīng)用處理器

通過(guò)i.MX8M Plus ，NXP將機(jī)器學(xué)習(xí)帶到了邊緣設(shè)備中，這款產(chǎn)品不僅僅是達(dá)到了2萬(wàn)億次每秒這樣的強(qiáng)大計(jì)算能力。只是做到這樣的計(jì)算性能并不困難，但NXP所實(shí)現(xiàn)的是帶來(lái)了模型壓縮的優(yōu)化以及針對(duì)稀疏性的優(yōu)化，稀疏指的是機(jī)器學(xué)習(xí)算法參數(shù)或者數(shù)據(jù)中有大量權(quán)重為0，進(jìn)而能夠避免在推理時(shí)支付這些模型系數(shù)的存儲(chǔ)費(fèi)用，計(jì)算效率將會(huì)大大增加。模型壓縮同樣也很重要，鑒于計(jì)算過(guò)程中存在大量的數(shù)據(jù)交換，如果足夠壓縮，那么對(duì)于系統(tǒng)內(nèi)存的占用就會(huì)降到最低。另外同樣牽涉到系統(tǒng)內(nèi)存的一點(diǎn)是i.MX8M Plus ?搭載 DRAM 控制器能夠進(jìn)行每秒4G 處理，是 NXP有史以來(lái) DRAM 速度之最。

i.MX8M Plus 與機(jī)器學(xué)習(xí)、機(jī)器視覺(jué)

機(jī)器學(xué)習(xí)是基于圖像數(shù)據(jù)的，數(shù)據(jù)的來(lái)源通常是一個(gè)系統(tǒng)中的攝像頭模塊，而攝像頭模塊需要一個(gè)圖像處理單元，也就是ISP。談到 i.MX8M Plus 的ISP 單元，在很多系統(tǒng)中，攝像頭可能距離目標(biāo)非常遠(yuǎn)，為了得到你需要的細(xì)節(jié)，其分辨率必須足夠高，比如4K分辨率，也就是800萬(wàn)像素。

處理如此高清的影像數(shù)據(jù)，就需要ISP 的協(xié)助?？赡軐?duì)于低分辨率的視頻，ISP 并非必需，在很多系統(tǒng)中，用戶(hù)可能并沒(méi)有意識(shí)到，攝像模塊是否集成ISP。但在高分辨率下，就需要 ISP 被集成在處理器中，就像i.MX8M Plus 這樣。有趣的是，NXP?i.MX8MPlus 中實(shí)際上集成了兩個(gè) ISP，兩路攝像頭輸入。因而在大多數(shù)的應(yīng)用場(chǎng)景下，將會(huì)獲得更立體的圖像，就像人的兩只眼睛一樣，可以感知圖像的深度。另外一個(gè)應(yīng)用是兩路攝像頭，其一作為廣角或者魚(yú)眼視角，另一路則聚焦某一場(chǎng)景的特寫(xiě)。除此之外，還有其它的應(yīng)用需要用到這樣的功能。

圖像處理需要很強(qiáng)的計(jì)算能力，ISP的功能理論上也可以由 CPU 或 GPU 來(lái)實(shí)現(xiàn)，但要將這樣的計(jì)算量，將這些數(shù)據(jù)轉(zhuǎn)化為系統(tǒng)可識(shí)別的形式和參數(shù)再進(jìn)行計(jì)算和處理，涉及到的工作量太大了。因此在這樣的系統(tǒng)下，必須使用一個(gè)專(zhuān)門(mén)處理圖像任務(wù)的單元，也就是 ISP，就像 i.MX8M Plus所做的那樣。

i.MX8M Plus 高動(dòng)態(tài)范圍（HDR）支持

i.MX8MPlus還有一個(gè)重點(diǎn)是HDR，也就是高動(dòng)態(tài)范圍，你可能在很多手機(jī)上看到過(guò)這個(gè)詞，但在嵌入式應(yīng)用以及消費(fèi)類(lèi)產(chǎn)品甚至工業(yè)應(yīng)用中HDR 都非常重要。HDR 主要是融合多重曝光的圖像，具體表現(xiàn)為拍攝亮度不同的兩張圖像，一張是長(zhǎng)曝光，一張是短曝光，其中一張能夠幫助獲得更好的高光部分的細(xì)節(jié)，另一張則獲得更好的低亮度區(qū)域的細(xì)節(jié)。甚至可以拍三張或者更多，來(lái)融合成為一張圖像。這樣高光和暗部的細(xì)節(jié)都可以保留，這在某些特定場(chǎng)景中非常重要，比如在家里，窗戶(hù)邊很亮，有的地方卻很暗，有了 HDR，所有的細(xì)節(jié)你都可以看清楚。

扭曲矯正帶來(lái)更好的圖像

在攝像頭相關(guān)應(yīng)用中，扭曲矯正是一個(gè)非常重要的功能。攝像頭接收到的圖像可能是扭曲的，類(lèi)似觀看魚(yú)缸的場(chǎng)景。你可以看到很多的東西，但它們都是扭曲的。扭曲矯正，可以將圖像恢復(fù)為人類(lèi)、機(jī)器學(xué)習(xí)可以識(shí)別的正常形狀，直線曲線區(qū)別分明，也沒(méi)有倒置的現(xiàn)象，這就是扭曲矯正引擎所負(fù)責(zé)的。但引擎能做的不僅僅是這些，除了能夠矯正這些意外的干擾，同時(shí)它也可以矯正由于攝像頭問(wèn)題導(dǎo)致的圖像不清晰、變形等。

引擎同樣可以對(duì)像素進(jìn)行處理，獲得更好的圖像質(zhì)量。針對(duì)i.MX8MPlus 的 ISP 架構(gòu)我們的設(shè)計(jì)保證了所有的處理都以流的形式進(jìn)行，也就是說(shuō)ISP直接從攝像頭接收?qǐng)D像進(jìn)行處理，將它們輸出到系統(tǒng)內(nèi)存。ISP 幾乎不需要從系統(tǒng)重新構(gòu)建圖像再進(jìn)行處理輸出，這樣就可以帶來(lái)非常低的延遲表現(xiàn)，以及非常高效的針對(duì)圖像的處理表現(xiàn)。iSP 針對(duì)圖像增強(qiáng)，進(jìn)行了非常多的處理，比如降噪處理，這在暗光環(huán)境中非常重要。在這樣的環(huán)境下，很多像素都會(huì)被進(jìn)行涂抹，但你不能對(duì)太多區(qū)域都進(jìn)行涂抹，否則你的圖像將會(huì)變得非常模糊。所以你必須使用 ISP 來(lái)分辨，哪里是可以進(jìn)行涂抹處理的，哪里則是需要清晰呈現(xiàn)的內(nèi)容。其它的處理任務(wù)包括，檢測(cè)圖像傳感器的壞點(diǎn)，確保正常工作，以及白平衡的調(diào)節(jié)，分辨出不同的光照環(huán)境，例如日光、燈光等等。還有提供信息，幫助自動(dòng)曝光以及對(duì)焦，所有的這些都是由ISP 來(lái)完成的。

H.265視頻編碼

在許多應(yīng)用中，攝像頭接入系統(tǒng)，數(shù)據(jù)被送入機(jī)器學(xué)習(xí)算法或是直接被存儲(chǔ)在網(wǎng)絡(luò)中。不管圖像被送入何處，它們還是需要被存儲(chǔ)在某些地方，比如服務(wù)器或者是本地設(shè)備。你不可能直接保存原始文件，因?yàn)樵嫉奈募?shí)在是太大了，因此必須對(duì)數(shù)據(jù)進(jìn)行編碼，i.MX8M plus 的視頻編碼是非常高效的。我們支持 h.265編碼算法，比起業(yè)內(nèi)廣泛使用的 h.264更加先進(jìn)和高效。

iMX8MPlus在工業(yè)應(yīng)用中的特色

i.MX8M Plus有一些針對(duì)工業(yè)應(yīng)用的特色，其一就是 ECC，也就是錯(cuò)誤糾正代碼。用來(lái)在用戶(hù)無(wú)需感知的情況下，檢測(cè)出內(nèi)存的錯(cuò)誤，甚至進(jìn)行修復(fù)。

這異常的重要，因?yàn)樵谀承?yīng)用中內(nèi)存的錯(cuò)誤會(huì)帶來(lái)嚴(yán)重的后果，雖然不會(huì)導(dǎo)致硬件的永久損壞，但當(dāng)讀取內(nèi)存的軟件和程序時(shí)有可能會(huì)崩潰。

為了避免這些情況的發(fā)生，你就需要ECC 來(lái)進(jìn)行檢測(cè)和修復(fù)，這樣軟件的錯(cuò)誤率，也就是我們常說(shuō)的 SER將會(huì)大大降低。i.MX8M Plus在緩存和片上RAM 中都帶有ECC，而DRAM 總線還支持在線 ECC，它不需要存儲(chǔ)任何額外的位，就能夠?qū)CC 算法與主數(shù)據(jù)同時(shí)發(fā)送出去。

TSN也是 i.MX8M plus 中的亮點(diǎn)，tsn 指的是時(shí)間敏感網(wǎng)絡(luò)。在工業(yè)應(yīng)用中你希望可以確保能夠在對(duì)的時(shí)間點(diǎn)將數(shù)據(jù)發(fā)送出去，而通常以太網(wǎng)中任何人在任何時(shí)間都有可能正在發(fā)送數(shù)據(jù)?？赡軙?huì)造成擁堵，可能你需要晚一些再發(fā)一次，在工業(yè)應(yīng)用中，這無(wú)疑是會(huì)帶來(lái)問(wèn)題的。而 TSN 則能夠很好的解決這樣的困擾。i.MX8M Plus同樣也支持一些工業(yè)級(jí)的外設(shè)，我們甚至集成了800MHz的 Cortex-M7協(xié)處理器來(lái)協(xié)助組合。組合運(yùn)行操作系統(tǒng)，M7內(nèi)核同時(shí)可以進(jìn)行一些實(shí)時(shí)性的控制，來(lái)確保低延遲。我們還有兩路 CANFD用于本地與系統(tǒng)或是與網(wǎng)絡(luò)低延遲的通信。

i.MX8M Plus所提供的所有的這些特性和外設(shè)，能夠助力工業(yè)及應(yīng)用的設(shè)計(jì)為工業(yè)應(yīng)用帶來(lái)無(wú)限的可能。

如何測(cè)評(píng)?i.MX8MPlus

作為NXP官方金牌合作伙伴，飛凌嵌入式與NXP深入合作，推出了基于i.MX 8M Plus處理器的開(kāi)發(fā)套件OKMX8MP-C開(kāi)發(fā)板與FETMX8MP-C核心板，除了繼承了上述CPU能力外，飛凌嵌入式在iMX8MPlus核心板上還集成了LPDDR4、eMMC、PMIC等關(guān)鍵元器件，形成了可以獨(dú)立運(yùn)行的最小系統(tǒng)；同時(shí)，考慮低成本基礎(chǔ)應(yīng)用以及高端NPU應(yīng)用的不同需求，DDR可選擇2GB、4GB、6GB、8GB多種版本；這款核心板的優(yōu)勢(shì)不僅僅在于性能上，其功能也是十分的豐富，雙千兆以太網(wǎng)、雙CAN-FD、2個(gè)USB3.0、PCIe3.0、LVDS、HDMI、MIPI-DSI、MIPI-CSI等接口面面俱到。