隨著圖像傳感器和新型傳感器的大幅進步，視覺系統(tǒng)正迅速變得無所不在。 ? 雖然傳感器本身通常是采用成熟節(jié)點芯片開發(fā)的，但它越來越多地與在最先進節(jié)點開發(fā)的視覺處理器相連。這使得每瓦性能達到了最高水平，而且還可以設(shè)計使用AI預(yù)訓練模型的AI加速器，同時仍然保持足夠小的尺寸與合適的溫度范圍，可用于AR/VR頭盔、手機和汽車艙內(nèi)傳感器，在這些場景中通常同時采用多個攝像頭。 ?

嵌入式視覺峰會總主席、Edge AI和視覺聯(lián)盟創(chuàng)始人、BDTI總裁Jeff Bier說：“十年前，還沒有廣泛使用的計算機視覺處理器。今天，有幾十個。這很重要，因為計算機視覺算法非常適合用并行處理進行加速。因此，與通用處理器相比，采用專門架構(gòu)的處理器可以輕松實現(xiàn)100倍的性能和效率。處理器效率的巨大提升使得在數(shù)千個新應(yīng)用中部署計算機視覺成為可能。” ? 在過去，所有這些都必須從零開始開發(fā)。但這些系統(tǒng)正在成熟。如今，半導(dǎo)體和AI公司正在提供現(xiàn)成的視覺處理模型和訓練過的數(shù)據(jù)集的平臺，開發(fā)者可以將其作為新系統(tǒng)的基礎(chǔ)。這在醫(yī)學領(lǐng)域很明顯，例如，計算機視覺正在幫助放射科醫(yī)生解讀X光片。

Flex Logix的高級營銷總監(jiān)Sam Fuller說：“AI的出現(xiàn)使人們能夠理解圖像，并開始減輕人們的負擔，比如放射科醫(yī)生，使他們更有效率。在算法開發(fā)及產(chǎn)品轉(zhuǎn)化方面，還有很多工作要做?！?? Mixel的創(chuàng)始人兼CEO Ashraf Takla表示：“AI/ML和邊緣計算的應(yīng)用發(fā)展勢頭良好，可以最小化視頻數(shù)據(jù)的傳輸量，從而降低功耗并提高系統(tǒng)效率?！?? 更小、更智能、更高效的攝像頭隨處可見。視覺系統(tǒng)涵蓋了從手機攝像頭到工業(yè)自動化、汽車、醫(yī)療、安全、監(jiān)控、無人機、機器人、AR/VR等各個領(lǐng)域。對視覺和圖像系統(tǒng)組件的需求在逐年增加。 ? 視覺處理半導(dǎo)體市場分為視覺處理器（VPU）和圖像信號處理器（ISP）。Mordor Intelligence的數(shù)據(jù)顯示，這兩個市場的CAGR預(yù)計都為7%。亞太地區(qū)的需求量最大，其次是北美和歐洲。ST、TI、Sigma、Semiconductor Components Industries和Fujitsu是一些較大的半導(dǎo)體公司，但許多新老玩家都在視覺處理市場。Flex Logix、Ambarella、SiMa.ai、Hailo.ai和Brainchip都取得了長足進步。一些EDA公司正在提供具有視覺和AI功能的IP。 ? IC Insights預(yù)測，圖像傳感器的需求也不能忽視，但由于智能手機需求的下滑，CMOS可能會遭遇暫時的需求放緩。 ?

圖1：由于在家辦公的需求有所緩解，智能手機和筆記本銷量下滑，預(yù)計CMOS圖像傳感器的需求將放緩。（數(shù)據(jù)來源：IC Insights） ? 與此同時，根據(jù)SkyQuest技術(shù)咨詢公司的數(shù)據(jù)，全球圖像傳感器市場預(yù)計將在2022-2028年期間以8.43%的CAGR增長，到2028年將達到301.2億美元。圖像傳感器市場占有率排名前六的公司是Sony、Samsung、OmniVision、ST、ONSemi和Panasonic。 ?

新型圖像傳感器??

在電子視覺系統(tǒng)中，圖像傳感器使用光學、像素和感光元件（光電二極管或光電門）將光轉(zhuǎn)換為電信號或比特。然后，數(shù)據(jù)pipeline將信號發(fā)送到處理器，在處理器中將信號轉(zhuǎn)換為數(shù)字圖像。 ? 圖像傳感器在傳感器上有一層光學器件來聚焦光線，但根據(jù)用例，還可以在上面添加另一層更復(fù)雜的光學器件。OmniVision的IoT/新興部門營銷總監(jiān)Devang Patel說：“這意味著基本上傳感器只發(fā)送原始數(shù)據(jù)，然后有一個主處理器。例如，Qualcomm或ambarella處理器將完成所有后端處理，轉(zhuǎn)換為YUV、JPEG進行視頻錄制，” ? 兩種常見的圖像傳感器類型，CMOS（complementary metal oxide semiconductor）和CCD（charge coupled device）將光轉(zhuǎn)換成電荷，并將其處理成電信號。CCD使用的是高壓模擬電路，正如TEL所描述的，它的像素陣列有一個桶狀結(jié)構(gòu)，將電荷移動到頂層行，作為一個讀數(shù)寄存器。然后，讀數(shù)寄存器將電荷輸出到傳感器外的處理器。 ? CCD有兩種類型，F(xiàn)SI（frontside illumination）和BSI（backside illumination）傳感器。區(qū)別在于光電二極管襯底在傳感器中的位置。 ? OmniVision的Patel說：“所有高性能傳感器幾乎都是BSI?！??

圖2: BSI和FSI圖像傳感器示意圖（來源：Cmglee）

? CMOS傳感器的生產(chǎn)成本比CCD低，因為CMOS可以在現(xiàn)有的半導(dǎo)體制造設(shè)備上制造。CMOS的能耗也更低。CMOS圖像傳感器中的每個像素都有自己的光電二極管直接輸出信號。 ? 相比之下，CCD基于NMOS，被認為比CMOS噪聲更小。因此，它們是科學設(shè)備和高分辨率掃描儀的首選。CMOS被用于大多數(shù)其他應(yīng)用，因為它在功耗和成本上占優(yōu)，且一直在提高精度或分辨率。 ?

捕獲圖像數(shù)據(jù)的基本單位是像素。增加圖像傳感器的像素是提高圖像分辨率的一種方法。較小的像素意味著在提高分辨率的同時，可以在相同的區(qū)域內(nèi)放入更多的像素，這稱為像素間距，目前圖像傳感器上的像素密度在增加。 ? 但增加像素會影響圖像傳感器的測試。近年來，CMOS圖像傳感器（CIS）設(shè)備的像素數(shù)呈爆炸式增長，結(jié)果是CIS設(shè)備的測試往往需要更長時間。 ?

真正影響測試的是傳感器的縮小。OmniVision多年來一直在銷售微型2層圖像傳感器?！爱斈阕龅迷絹碓叫〉臅r候，測試就會面臨挑戰(zhàn)，因為測試設(shè)備和硬件隨之面臨著挑戰(zhàn)?！?? 圖像的使用者可以是人、計算機或某種機器。因此，圖像傳感器的選擇取決于最終用途和最終用戶。如果終端使用者不是人類，或者目的是檢測特定的事件，則正在考慮使用諸如事件傳感器之類的新型視覺傳感器。在光線較暗的情況下和車內(nèi)監(jiān)控，事件傳感器只檢測到強度的變化，像素會被變化激活。否則，不需要收集其他圖像數(shù)據(jù)。 ?

圖3：CMOS圖像傳感器（CIS）

將光通過像素，通過光電二極管轉(zhuǎn)換成電信號輸出（來源：TEL Nanotec Museum） ? 圖像傳感器在200mm和300mm晶圓廠的成熟節(jié)點上制造。一些圖像和視頻傳感器包括圖像或視頻處理模塊。這些是SoC。另一種沒有視頻處理器的圖像傳感器被稱為RAW。 ? OmniVision的Patel表示：“就普及程度而言，RAW傳感器代表了全球大多數(shù)（視覺）傳感器。視頻處理器是很多公司的專利，他們有自己的算法、配方和操作方法。由于這些原因，使用外部VPU總是更好。你還可以使用高級處理節(jié)點來集成更高級的圖像處理算法。這就是你所看到的，但市場上仍有一些SoC傳感器可用?！?? 有時，由于其他原因，最好將圖像傳感器與處理元件分離。Patel說：“在汽車領(lǐng)域，有一些用例更傾向于將視頻處理分開。汽車的后視攝像頭在后備箱的位置，但可以在中控上顯示視頻。那是一段很長的距離。設(shè)計師更愿意使用數(shù)字輸出，或傳統(tǒng)的模擬輸出，如NTSC或PAL視頻輸出，這樣你就可以使用較長的線束來顯示?！?/p>

? 信號/圖像數(shù)據(jù)是使用并行和串行輸出從圖像傳感器上移走的。這似乎違反直覺，但串行輸出正變得比并行更受歡迎，其中MIPI占主導(dǎo)地位。 ? Mixel的Takla說：“在大多數(shù)視覺應(yīng)用中，功率和延遲是關(guān)鍵參數(shù)。MIPI的最初目標是傳感器、處理器和顯示器之間的視頻數(shù)據(jù)通信，因此我們針對這類應(yīng)用進行了優(yōu)化。正因為如此，MIPI標準的發(fā)展使得功耗、延遲最小化，并解決了典型視頻鏈接的不對稱特性。我們看到C-PHY正在普及，主要是在傳感器中。顯示器方面的應(yīng)用正在增長，但卻滯后于傳感器?！?? 串行接口在視覺上勝過并行接口。Patel說：“對于并行接口，如果是8位或10位輸出，基本上有12行，然后一些其他的信號，這是傳統(tǒng)的數(shù)據(jù)總線。串行接口大致是MIPI聯(lián)盟的。它們基本上使用串行差分引腳和輸出。一條線路包括兩個數(shù)據(jù)對，然后是時鐘對，所以是四個引腳，但實際上，與并行相比，這四個引腳能夠輸出更高的吞吐量?！?? 并行輸出有一個TTL（transistor-transistor logic）擺動，增加了傳輸時間。Patel說：“當你從零電壓切換到更高的電壓時，無論是1.2還是1.5，信號的上升和下降都需要時間。

挑戰(zhàn)在于你能達到的速度，但從簡單的角度來看，并行是最簡單的輸出方式，因為行業(yè)中的大多數(shù)微控制器都有某種類型的并行輸入數(shù)據(jù)總線。你可以直接把這些連接起來?！?? 當涉及到高分辨率、高幀輸出時，當速度提高時，并行又出現(xiàn)了不足?！叭绻阆朐诟叻直媛氏螺敵龈邘剩热缭?0幀或60幀下輸出4K或2K，并行端口將很難輸出如此高的幀率。那會是很大的功率。所以這些都是通過串行接口，也就是MIPI接口來處理的。我們看到越來越多的新微控制器也加入了MIPI接口?！??

在視覺或圖像信號處理器內(nèi)部，數(shù)據(jù)處理可能與SoC內(nèi)部不同。Arteris IP的CMO Michal Siwinski說：“你將視覺作為一種傳感器，這實際上是非常數(shù)據(jù)密集型的，能夠獲取這種信息，并確保能夠捕獲它，信息是連接的，數(shù)據(jù)從芯片的這部分流向其他部分，這樣你就可以計算它，解析它，并從中學習。視覺可能比其他類型的傳感器產(chǎn)生更多的數(shù)據(jù)。

由于我們能夠很好地處理這個問題，其他的事情基本上都很簡單。我們基本上提供了底層的SoC基礎(chǔ)設(shè)施?！?? VPU和ISP，視覺IP?? 電信號一旦離開圖像傳感器，就在VPU或ISP或兩者中進行處理。 ? 典型的計算機視覺應(yīng)用就是攝像頭（帶圖像傳感器）。攝像頭有一些預(yù)處理。它捕獲數(shù)據(jù)幀，檢測對象，跟蹤識別，然后進行一些后處理。系統(tǒng)設(shè)計者已經(jīng)使用MPU、CPU和GPU來處理圖像。圖形處理器是為3D和游戲圖形設(shè)計的，最初在處理圖像方面有一些優(yōu)勢。但現(xiàn)在有VPU，利用AI加速器處理圖像。AI只從信號中提取必要的數(shù)據(jù)，并可以為圖像識別編程，或幫助終端用戶找到有意義的數(shù)據(jù)或提高其用例的圖像質(zhì)量。 ? VPU的例子有： ?

Flex Logix的InterX內(nèi)置了AI模型。圖像處理是Flex Logix AI推理產(chǎn)品的細分市場之一。該公司的營銷高管說：“我們非常專注于高清實時圖像處理。我們已經(jīng)開發(fā)了針對這一領(lǐng)域優(yōu)化的芯片（機器視覺、計算機視覺）?！?/p>

Renesas的RZ/V系列是MPU，使用Renesas的專有AI加速器，低功耗DRP-AI（Dynamically Reconfigurable Processor）加速器。RZ/V2M具有支持4K/30fps的高性能ISP；RZ/V2L有一個3D圖形引擎。OpenCV加速器使它與各種圖像處理設(shè)備兼容。兩個主要的64位CPU是Arm的Cortex-A55（1.2GHz）或Arm Cortex-A53（1.0GHz）Dual。子CPU是Arm Cortex-M33（200MHz）Single。Renesas的企業(yè)基礎(chǔ)設(shè)施事業(yè)部副總裁Shigeki Kato在一份聲明中表示：“對于想要實現(xiàn)機器學習的嵌入式系統(tǒng)開發(fā)者來說，挑戰(zhàn)之一是要跟上不斷發(fā)展的最新AI模型。通過新的DRP-AI TVM工具，我們?yōu)樵O(shè)計師提供了擴展AI框架和AI模型的選項，這些AI框架和AI模型可以轉(zhuǎn)換為可執(zhí)行格式，允許他們使用新的AI模型為嵌入式設(shè)備帶來最新的圖像識別能力。”

英特爾的Movidius（VPU）包括一個神經(jīng)計算引擎。

ST為STM32Cube提供了AI和計算機視覺功能包。FP-AI-VISION1功能包運行在基于Arm核的STM32 MCU上。

傳統(tǒng)上，ISP用于數(shù)碼相機中處理為人類觀看而優(yōu)化的數(shù)字圖像。ISP可以應(yīng)用白平衡過濾器、原始數(shù)據(jù)校正、鏡頭校正、動態(tài)范圍校正、降噪、銳化、數(shù)字圖像穩(wěn)定和各種其他調(diào)整。ISP也正在適應(yīng)計算機視覺應(yīng)用。ISP可以是將用于SoC或圖像傳感器本身的IC或IP核，通常與VPU結(jié)合使用。一個ISP的例子是Arm的Mali-C52和Mali-C32 ISP，用于IoT設(shè)備的實時、更高的圖像質(zhì)量。 ? VPU和ISP一起使用，可以產(chǎn)生比單獨使用VPU更高效的計算機視覺處理。 ? 此外，EDA行業(yè)還提供視覺系統(tǒng)的IP和創(chuàng)建和測試視覺系統(tǒng)設(shè)計的工具。按供應(yīng)商分類，應(yīng)用包括: ?

Cadence：Tensilica Vision DSP用于汽車SoC和其他用例。

Synopsis：DesignWare ARC EV處理器，用于嵌入式視覺應(yīng)用的可編程和可配置IP核。

Ansys：用于檢查計算機視覺系統(tǒng)的工具，例如它的SCADE vision，它可以檢測視覺系統(tǒng)的問題。在汽車領(lǐng)域，SCADE Vision|Driving Perception Software Testing可自動識別自動駕駛汽車基于AI的感知系統(tǒng)的脆弱性。Ansys AVxcelerate Sensors|AV Sensor Simulation Software測試自動駕駛汽車中的ADAS傳感器。

預(yù)先訓練的AI圖像推理模型是提取圖像意義的一種經(jīng)濟有效的方法。Flex Logix為完成特定任務(wù)的視覺應(yīng)用提供預(yù)先訓練的模型，如硬帽檢測、車牌讀取、車輛檢測、無人機、PCB缺陷檢測等。這種名為EasyVision的AI模型與Flex Logix的InferX AI邊緣加速器協(xié)同工作。 ? Fuller說：“算法已經(jīng)存在，訓練也已經(jīng)進行，但你還想把它構(gòu)建成一種健壯且具有成本效益的東西。這就是這種服務(wù)非常有意義的地方，因為科學開發(fā)轉(zhuǎn)化為工程產(chǎn)品，是一個仍然需要完成的過程，也是我們真正專注于幫助客戶完成的事情?！??

邊緣視覺處理??

雖然圖像傳感器可能不會內(nèi)置在邊緣的處理器中，但圖像傳感器正在與新的處理器和SoC組合，在邊緣使用AI進行圖像處理。如前所述，F(xiàn)lex Logix是開發(fā)邊緣圖像處理能力的初創(chuàng)公司之一。其他還有SiMa.ai，該公司利用Synopsys的DesignWare ARC嵌入式視覺處理器和Arm的計算IP，創(chuàng)建了計算機視覺的MLSoC平臺。其他致力于視覺前沿AI的初創(chuàng)公司包括Ambarella、Brainchip和Hailo。

帶有AI的視覺邊緣設(shè)備的一個例子是Au-Zone的微型AR/VR相機，采用了NXP的i.MX?RT1064 MCU（基于Arm Cortex-M7視覺），最高可達600MHz。Au-Zone的攝像頭也是為IoT設(shè)計的。NXP的i.MX?RT1064 MCU是NXP用于IoT和邊緣AI的RT Crossover系列的一部分，其中包括音頻和視覺應(yīng)用。

但終極邊緣仍然是AR/VR。經(jīng)過20多年的研發(fā)，這一市場才剛剛開始進入消費電子行業(yè)的視野，這在很大程度上是由于其所用芯片在速度、功耗和價格開始進入合理區(qū)間。

小型化，多層堆疊????

攝像頭及其集成電路正變得越來越小、越來越復(fù)雜，圖像傳感器也變得更多層。其中一個驅(qū)動力是眼鏡或頭戴式設(shè)備中的AR/VR。例如，需要多個微型攝像頭聚焦于人類互動的某個特定方面?？赡苄枰慌_單獨的攝像頭來聚焦一個人的嘴唇、眼睛和手勢。

隨著AR/VR技術(shù)的發(fā)展，眼鏡的邊框需要多個攝像頭。OmniVision的Patel說：“性能和尺寸的需求非常重要。我們正在對OG0TB的全球快門圖像傳感器進行采樣，該傳感器使用三層疊加?！?/p>

圖4：OmniVision的三層圖像傳感器OG0TB，除了像素晶圓，它還具有模擬、邏輯、ADC、MIPI/CPHY（來源:OmniVision）

OmniVision的Patel說：“通過三層堆疊，我們可以制作1.6*1.6毫米的攝像頭，而這種尺寸可以讓你把它們放在下一代AR/VR設(shè)備中。在未來，這些層可能使傳感器避免傳輸不需要的數(shù)據(jù)。長期愿景是我們經(jīng)歷層層疊加的原因之一。你可以想象，在未來，我們可以把一些模塊、CNN網(wǎng)絡(luò)，或其他一些數(shù)字功能，你需要把所有的原始數(shù)據(jù)發(fā)送給他們。但如果目的只是為了眼球追蹤，為什么要發(fā)送所有的原始數(shù)據(jù)。相反，只發(fā)送x、y坐標。如果傳感器本身有這個處理模塊，我們就能實現(xiàn)這個目標，這將有助于使用主機上的帶寬，因為你可以想象有多少攝像頭在爭奪這個接口?！?/p>

處理多攝像頭數(shù)據(jù)的AI正在被設(shè)計成芯片。Renesas剛剛在其RZ/V系列中推出了一款支持AI的微處理器，可以對來自多個攝像頭的圖像數(shù)據(jù)進行AI處理，以提高視覺AI應(yīng)用的圖像識別精度，如配有AI的網(wǎng)關(guān)、視頻服務(wù)器、安檢門、POS終端和機械臂。

在更大的系統(tǒng)中，比如汽車、無人機、機器人，多攝像頭和視覺系統(tǒng)是常態(tài)，盡管它們并不總是微型的。Arteris IP的高級技術(shù)營銷經(jīng)理Paul Graykowski表示，“通常有不止一個視覺系統(tǒng)。通常情況下，你是通過一系列攝像頭等方式傳送數(shù)據(jù)，你必須確保有足夠的帶寬和延遲來處理這種情況?！?/p>

如果是無人機，它使用攝像頭作為視覺傳感器來避障?！叭绻陲w行，處理數(shù)據(jù)的速度不夠快，就會發(fā)生碰撞。我們必須確保在數(shù)據(jù)路徑中有緊密耦合，以確保我們?yōu)檫@些處理器提供實時數(shù)據(jù)。我們顯然也不希望他們被閑置。當你在處理視覺時，優(yōu)化性能是關(guān)鍵，及時地獲得數(shù)據(jù)，這樣你就可以對數(shù)據(jù)進行機器學習，然后做出相應(yīng)的反應(yīng)。無論是ADAS、無人機還是機器人，在任何類型的視覺系統(tǒng)中，獲得實時數(shù)據(jù)是非常重要的?！?/p>

盡可能接近實時的反應(yīng)是系統(tǒng)的理想和目的。

Graykowski說：“它能夠優(yōu)化NoC的配置，并具有靈活性，可以指定‘我必須將數(shù)據(jù)從A點移動到B點，它必須在這個時間到達那里’，以及所有這些服務(wù)質(zhì)量參數(shù)，以確保實現(xiàn)目標?！?/p>

但實時并不總是必需的。有時候讓系統(tǒng)“思考”是可以的。系統(tǒng)設(shè)計師需要知道什么數(shù)據(jù)需要被感知、通過AI加速器移動、通過CPU進行響應(yīng)，所有這些都是近乎實時的。無人機就是一個很好的例子。無人機可能需要一段時間來改變路線，因為它會考慮各種可能性。不過，一架在空中的無人機可能不會像一輛在地面上的汽車那樣面臨迫在眉睫的危險，它在ADAS中做實時處理以避免碰撞。

“視覺擁有來自多個來源的大量數(shù)據(jù)。它基本上是從所有這些來源獲取數(shù)據(jù)，并很快將其送到處理單元或AI單元，這樣它們就可以對其進行分析。一旦他們有了分析并確定了發(fā)生了什么，這將被傳遞給CPU去做一些思考。你需要一個非?？焖俚臄?shù)據(jù)鏈來及時移動數(shù)據(jù)，因為大多數(shù)視覺系統(tǒng)都是實時對事物做出反應(yīng)。這是圍繞視覺進行優(yōu)化的關(guān)鍵，及時移動數(shù)據(jù)。顯然，面積、功率和性能總是要考慮的因素，但現(xiàn)實情況是，你必須確保你設(shè)計的NoC不會耗盡你的AI引擎，這樣它們才能進行所需的計算。”

圖像傳感器越來越小，像素和層數(shù)越來越多，而視覺處理SoC現(xiàn)在增加了AI加速器和邊緣AI處理。攝像頭越來越多、越來越小、越來越智能和高效。視覺系統(tǒng)涵蓋了從手機攝像頭到工業(yè)自動化、汽車、醫(yī)療、安全等各個領(lǐng)域。

但是，系統(tǒng)使用者是計算機、機器還是人對系統(tǒng)設(shè)計有很大的影響，因為系統(tǒng)設(shè)計可以舍棄不必要的數(shù)據(jù)。此外，傳感器、AI和ML視覺處理的新選擇將幫助團隊進行更精簡的視覺系統(tǒng)設(shè)計，并獲得更多更高質(zhì)量的圖像。

[參考文章]

AI Feeds Vision Processor, Image Sensor Boom — Susan Rambo

編輯：黃飛