ISM330IS，這是第一款配備智能傳感器處理單元 （ISPU） 的傳感器。意法半導體于2022年初宣布了該技術，其演示具有高度的象征意義，因為它證明了該技術即將推出。簡而言之，ISPU 是一種 C 可編程嵌入式數字信號處理器 （DSP），能夠運行機器學習和深度學習算法。因此，這是AI在邊緣的下一次演變，或者意法半導體所說的“Onlife時代”。事實上，ISM330IS包括一個用于單位精度計算的浮點單元，這在運動傳感器中尚屬首次。

從創(chuàng)意到新一代傳感器

意法半導體克服了哪些挑戰(zhàn)？

回顧過去四年的重大創(chuàng)新以了解我們是如何走到這一步的，這一點至關重要。它始于意法半導體發(fā)表的一篇論文，研究慣性傳感器內部機器學習內核的可行性。在這項研究之前，傳感器只收集數據。因此，所有計算都必須在微控制器上進行。這個系統(tǒng)背后的原因相對簡單。慣性傳感器是小型低功耗器件。添加功能強大的處理器不僅會違反這些限制，還會帶來重大的集成和制造挑戰(zhàn)。然而，盡管將DSP和加速度計與陀螺儀結合在一起，意法半導體并沒有損害處理能力、存儲器存儲或檢測精度。

第一個具有機器學習核心的傳感器完成了什么？

2018年意法半導體的論文具有開創(chuàng)性，因為它解決了這些挑戰(zhàn)，推廣了后來被稱為LSM6DSOX的東西，這是有史以來第一個并行容納八個決策樹以運行機器學習算法的慣性傳感器。因此，可以以一小部分功耗在本地運行應用程序。新的應用程序開始出現，特別是在將設備集成到SensorTile.box之后。例如，可以為留在車內的嬰兒創(chuàng)建一個嬰兒哭聲探測器。同樣，倫敦大學學院的兩個項目通過自動化坐立測試并創(chuàng)建更易于使用的數字聽診器而掀起了波瀾。

還有哪些傳感器具有機器學習核心？

Unico GUI 和機器學習應用程序

LSM6DSOX也是一個新的開發(fā)者社區(qū)的開始。意法半導體在GitHub上提供了一個機器學習核心存儲庫，使Unico GUI軟件工具更易于訪問，以幫助程序員利用LSM6DSOX中的機器學習核心。此外，我們還發(fā)布了更強大的傳感器。LSM6DSRX具有更好的性能，可以針對虛擬現實耳機等要求更高的應用。我們還推出了 LSM6DSV16X，它具有增強的機器學習內核和更好的每瓦性能比，適用于功率限制更嚴格的系統(tǒng)。因此，意法半導體的傳感器采用機器學習核心，部分促成了下一個自動化時代的到來，而ISM330IS開啟了這一傳奇的重要新篇章。

從新的處理核心到新的應用

ISPU 是由什么組成的？

ISM330IS的細分

ISM330IS的ISPU為數據提供8 KB的RAM，為應用提供32 KB的RAM。它還具有運行在 32 MHz 的 10 位 RISC Harvard 架構、一個四級流水線、一個浮點單元和一組針對神經網絡處理優(yōu)化的 16 位長度指令。此外，雖然處理器只能在四個時鐘周期內拋出中斷（Arm Cortex內核通常在15個周期內完成），但它也可以在一個周期內處理16位乘法。它使用 SPI 或 I2C 與主機 MCU 通信。開發(fā)人員只需在啟動時從主機處理器將 C 代碼加載到 ISPU 的易失性存儲器中。

FPU 使應用程序能夠以更大的靈活性在邊緣運行推理。一旦滿足條件，程序就會向微控制器發(fā)出中斷。同樣，與上一代設備相比，該架構使ISPU能夠提高性能，同時仍以微瓦級運行。因此，與以前的機器學習核心的決策樹和更高效的系統(tǒng)相比，這是一個重大的飛躍。此外，盡管存在強大的計算能力，ISM330IS仍然適合市場標準的LGA封裝，尺寸為3 mm x 2.5 mm x 0.83 mm。因此，設計人員不必在采用新部件時對PCB進行重大更改。

ISM330IS如何脫穎而出？

機器學習應用程序越來越普遍，許多人將它們與高內存需求、云計算服務器或高度并行的 GPU 架構相關聯。許多程序確實需要昂貴的計算操作，這使得它們與邊緣處理不兼容。然而，公司也知道并非所有深度學習系統(tǒng)都需要這種能力。因此，在智能手機等移動設備或本地工業(yè)裝置上運行推理正在獲得牽引力。圖像識別、異常檢測和預測性維護都需要在緊湊的功率范圍內實現可靠的 AI 性能。同樣，無線家庭安全系統(tǒng)的攝像頭使用人工智能來識別人臉或寵物，ISPU可以為移動系統(tǒng)上的常亮顯示器提供智能。

ISM330IS是應對這一挑戰(zhàn)的新答案，因為它在高性能模式下只需要0.59 mA。相比之下，ISM330DHCX在類似條件下需要高達1.5 mA的電流。后者具有更強大的陀螺儀，除其他外，這確實部分解釋了差異。但是，這些數字還顯示了新設備中的優(yōu)化和處理核心的效率。事實上，低功耗微控制器很少有FPU，因為它們通常需要大量能量。然而，ISM330IS仍然設法保持其功耗足夠低，以適應電池供電的系統(tǒng)。

審核編輯：郭婷