視覺傳感器對于數(shù)據(jù)采集正變得越來越重要。

最初的簡單圖像傳感器為攝影應用開發(fā)，如今的圖像傳感器用于向人工智能(AI)和機器學習系統(tǒng)提供高質量的輸入。

這些系統(tǒng)已成為利用新的和創(chuàng)新的處理器架構的精密決策實體。

邊緣數(shù)據(jù)采集

盡管邊緣數(shù)據(jù)采集器件本質上主要是模擬的，但是圖像傳感器的獨特之處在于：

它們的輸出在連續(xù)的動態(tài)光學輸入上進行時分復用

它們需要有能力在輸出時保持轉換后的光輸入的完整性來提供圖像輸出

提供的圖像輸出具有最佳質量，支持重要的處理

這些要求和隨后的結果可能會對視覺系統(tǒng)做出的決策的準確性產(chǎn)生重大影響，而這一結果定義了整個自動化系統(tǒng)的安全性、可靠性和收益率。

基于機器學習的視覺系統(tǒng)

機器學習的出現(xiàn)推動了圖像傳感器的創(chuàng)新，其性能水平得到了提高，可以支持各種應用。視覺輸入是高保真數(shù)據(jù)–您所看到的就是輸入到系統(tǒng)中的信息。

如今，AI算法能夠檢測、識別和分類這些輸入并生成準確的決策輸出。這些輸出的可靠性取決于輸入的質量及其算法的準確性，以及處理這些算法的神經(jīng)網(wǎng)絡。

基于機器學習和深度學習的視覺系統(tǒng)主要使用卷積神經(jīng)網(wǎng)絡(CNN)算法來創(chuàng)建功能強大的自動識別專家系統(tǒng)。

在這些系統(tǒng)中，增加CNN層的深度會提高推理的準確性，但是更多的層也會對這些網(wǎng)絡在訓練階段學習所花費的時間以及系統(tǒng)完成推斷的延遲產(chǎn)生不利影響 (不要忘了過擬合也會影響結果和功耗)。

同樣，高質量的圖像輸出使視覺系統(tǒng)能夠攜帶最少的CNN圖層集，但還能產(chǎn)生高度準確的推斷。在以低成本和小尺寸獲得可快速部署的智能系統(tǒng)的同時，還實現(xiàn)高性能和低功耗，這帶來了顯著的好處。

典型的卷積神經(jīng)網(wǎng)絡(CNN)

深度學習算法如CNN資源極其密集。如今，有各種處理引擎，包括CPU、GPU、FPGA、專用加速器和最新的微控制器。

設計基于CNN的視覺系統(tǒng)還需要強大的優(yōu)化庫支持。涵蓋從專有(如MVTec的HALCON＆MERLIC，MATLAB的深度學習工具箱或Cognex的ViDi)到標準工具(如OpenCV)以及軟硬件的整合功能。

這些選擇直接關系到產(chǎn)品的上市時間。資源密集型處理器通常需要更大的外形尺寸，如散熱器的功耗附加組件，或者僅需要較大的空閑空間以通過對流來耗散功率。

提供高質量輸出的圖像傳感器可無需昂貴的處理器、昂貴的第三方庫和/或新庫的創(chuàng)建需求，以及最佳地結合硬件和軟件資源所需的昂貴工具。

換句話說，這些傳感器極大地降低了總擁有成本(TCO)，并增加了在各種應用和市場中的采用率。

圖像傳感器輸入到機器學習系統(tǒng)

對傳遞到CNN層的圖像傳感器輸出有相當高的要求，包括：

全局快門可以捕獲場景并保留場景以最小化運動偽影

高全局快門效率，以確保每個像素中保留的場景不會被該像素光路之外的光輸入破壞

足夠大的像素尺寸，即使在充滿挑戰(zhàn)的光線條件下也能支持好的圖像質量

圖像輸出中的總噪聲低，以確保高完整性輸入

在運行和待機狀態(tài)下低功耗，應對以對流傳熱為常態(tài)的攝像系統(tǒng)的典型挑戰(zhàn)。

這些特性取決于像素架構和相關電路徑的設計。CMOS圖像傳感器的結構和設計如AR0234CS滿足這些需求，非常適合基于CNN的視覺系統(tǒng)。

高速接口賦能快速系統(tǒng)

像素的質量可能極佳，且經(jīng)過精心設計以生成高質量的圖像，但是由于帶寬限制，整個視覺系統(tǒng)可能仍會出現(xiàn)性能不佳的情況。當今的傳感器都配備了SerDes接口，但是這些接口的流量數(shù)據(jù)速率會影響整個系統(tǒng)的質量。

高幀速率要求這些接口以高速傳輸圖像數(shù)據(jù)。同樣，傳感器必須為每幀輸出(fps/mW)消耗低功耗。這些特性支持將系統(tǒng)定時和功率預算轉移到最需要的地方-處理引擎-可以合并最新的神經(jīng)網(wǎng)絡和復雜算法。

這使圖像處理器能夠提取圖像數(shù)據(jù)中的細微差別，這些差別可能是應用的重要內容。視覺系統(tǒng)開發(fā)人員因此可以使其系統(tǒng)方案在競爭中脫穎而出。

AR0234CS230萬像素CMOS圖像傳感器

AR0234CS 230萬像素CMOS圖像傳感器具備高數(shù)據(jù)速率MIPI接口，非常適合基于AI的視覺系統(tǒng)。加上它高幀速率、低功耗全幀速率和全分辨率，視覺系統(tǒng)開發(fā)人員可以將大部分時間和功耗預算分配給處理器。

責任編輯：lq