從多攝手機的普及到安防監(jiān)控、智能車載攝像頭以及機器視覺的飛速進步，CMOS圖像傳感器成為名副其實的黃金賽道，每年出貨量逼近百億顆大關。

4月17日，在全球CMOS傳感器應用技術峰會上，愛芯元智ISP系統(tǒng)專家張興發(fā)表題為《關于AI-ISP下一步發(fā)展和廣泛應用》的演講，深度剖析了愛芯元智的自研核心技術愛芯智眸AI-ISP，如何打破傳統(tǒng)黑光成像局限，實現(xiàn)真黑光全彩實時影像，并揭示了自研NPU在其中的關鍵作用以及對大模型在端側應用的前瞻性布局。

真黑光全彩，定義行業(yè)新標準

一般來說，黑光級意味著攝像機可以在0.01lux及以下照度的條件下工作?？墒牵瑐鹘y(tǒng)的黑光級攝像機往往依賴于大版面?zhèn)鞲衅?、低分辨率、大光圈等手段來捕捉微弱光線，這些方法不僅可能導致色彩飽和度不足、運動物體失真，還伴隨器件提升帶來的巨大成本攀升，難以滿足日益嚴苛的行業(yè)需求。愛芯元智首創(chuàng)自研的愛芯智眸AI-ISP，結合了愛芯通元混合精度NPU則顛覆了這一現(xiàn)狀，不僅極大提高了AI識別率，還解決了低照和寬動態(tài)成像的時代難題，成功將黑光全彩成像變?yōu)楝F(xiàn)實，并且大幅降低設備的綜合成本。

“如果說，CMOS是生物視覺系統(tǒng)中的視網膜，那么，NPU賦能的AI-ISP則是大腦對圖像的處理機制。其整合了傳統(tǒng)ISP的圖像優(yōu)化功能與人工智能算法，能夠對這些初始的數字圖像進行深度分析與理解，就像人腦通過復雜的神經網絡結構對視網膜傳遞的信號進行解析，從而識別物體、理解場景并做出基于視覺信息的決策。”

愛芯智眸AI-ISP - 客戶實例

實測數據顯示，搭載新一代愛芯智眸AI-ISP的攝像機即使在<0.01Lux的極端暗光條件下，也能在無需任何補光的情況下，以25～30幀的高幀率實現(xiàn)智能降噪和超寬動態(tài)成像，實現(xiàn)全彩畫面的實時、高飽和度還原，運動物體呈現(xiàn)無拖影、透視或鬼影的清晰影像。

愛芯元智率先提出了“真黑光”六大要素——低照度下無補光全彩、實時幀率、運動物體精準識別、色彩準確還原、成本效益及產品化易用性，強調只有同時滿足這些條件，才能在極暗場景下實現(xiàn)卓越的視頻效果，切實提升用戶體驗。

AI賦能ISP，突破傳統(tǒng)“天花板”

在全天候條件下，如何提升AI的識別率，達到真正的智能好用，是行業(yè)最大痛點。愛芯元智從技術原理出發(fā)，對愛芯智眸AI-ISP的架構創(chuàng)新，通過AI賦能ISP Pipeline中的五大關鍵模塊——HDR、3DNR、SR、RLTM和Demosaic，運用AI訓練手段持續(xù)優(yōu)化這些模塊的性能，有效打破了傳統(tǒng)ISP成像的性能瓶頸，成功將有限的算力聚焦于人眼感知最為敏感的功能模塊，通過AI化重要模塊實現(xiàn)ISP的最佳效果。

大模型驅動，成就差異化優(yōu)勢

隨著大模型的發(fā)展，愛芯元智已經率先在自己的AI-ISP發(fā)展中引入大模型技術，促進AI-ISP技術發(fā)展。愛芯智眸AI-ISP的強大性能背后，離不開自研愛芯通元NPU的有力支撐。

高效能計算

愛芯通元NPU能夠同時支持多種數據精度（如FP16、INT4、INT8、BF16等），對于不同類型的計算任務或模型層選擇最合適的精度進行處理。在保證模型精度的前提下，大幅降低功耗和發(fā)熱量，這對于嵌入式或移動設備中的AI-ISP來說尤為重要，有助于延長電池續(xù)航和提高系統(tǒng)整體能效。

加速推理速度

愛芯通元NPU通過在不同精度級別上分配計算任務，可以進一步提升硬件利用率和計算吞吐量，縮短AI-ISP在圖像信號處理中的推理時間，實現(xiàn)實時或近實時的圖像分析和理解。

內存帶寬優(yōu)化

采用的混合精度計算減少了數據傳輸量，特別是在內存訪問密集的操作中，低精度數據占用的存儲空間較小，有助于緩解內存帶寬壓力，減少數據搬移時間，從而突破內存墻限制。這對于AI-ISP處理高分辨率、高幀率的視頻流或連續(xù)的圖像傳感器數據時，能夠有效降低延遲，提升整體系統(tǒng)的響應速度。

精準性能權衡

愛芯通元NPU允許在推理過程中根據任務特性和模型層的重要性動態(tài)調整精度。對于對精度要求較高的關鍵層，可以使用較高精度（如FP16）以保持精確的特征表達；而對于對精度要求相對較低的層或計算步驟，可以使用低精度（如INT8）來加速處理。這種靈活性使得AI-ISP能夠在圖像處理鏈路的不同階段靈活分配計算資源，實現(xiàn)性能與精度之間的最佳平衡。

系統(tǒng)級集成

愛芯通元NPU直接集成了AI-ISP所需的關鍵功能，如圖像預處理、噪聲抑制、色彩校正等，這些功能可以利用NPU的硬件加速特性高效執(zhí)行，減少對外部CPU或GPU的依賴。這樣的集成設計簡化了系統(tǒng)架構，降低了數據在不同處理單元之間傳輸的開銷，提高了整體系統(tǒng)的集成度和效率。

適應性強

愛芯通元NPU支持模型的混合精度訓練，使得原本在高精度下訓練的模型可以經過量化后在低精度模式下運行，無需重新訓練或微調即可遷移到AI-ISP中。這種特性增強了AI-ISP對各類預訓練模型的兼容性，便于快速部署和更新算法，適應不斷演進的AI視覺應用需求。

愛芯智眸AI-ISP - 降噪

愛芯智眸AI-ISP - 寬動態(tài)、高光抑制

愛芯智眸AI-ISP - 夜間運動車身細節(jié)

通過集成高性能、低功耗的NPU，愛芯智眸AI-ISP能夠在不依賴DDR內存、保持低延遲和低功耗的前提下，高效執(zhí)行復雜的ISP任務,顯著提升了圖像信號處理的效率、準確性和能效，助力實現(xiàn)從圖像采集到高級視覺理解的無縫銜接和實時響應，尤其是NPU的可編程性，使其能夠靈活適應不斷發(fā)展的AI網絡模型，確保持續(xù)提供出色的性能表現(xiàn)。

前瞻布局，擁抱大模型時代

隨著人工智能步入以大模型為核心的新紀元，愛芯元智憑借其深邃的行業(yè)洞察力與前瞻性的戰(zhàn)略視野，積極順應這一變革浪潮。事實上，在三年前愛芯元智擘畫芯片藍圖之際，便已精準預見到大模型將重塑AI行業(yè)的未來格局。為此，在設計之初就確保芯片原生支持Transformer，無縫對接AIPC時代，從而確保在瞬息萬變的市場環(huán)境中迅速占得先機。

源于圖像處理對實時性、可靠性和隱私保護的高要求，使得AI必然從云端逐步下沉至端側邊緣側，這對端側計算能力提出了前所未有的高標準。愛芯元智的第三代、第四代芯片已搭載愛芯通元混合精度NPU，全面支持Transformer大模型的部署，確保在有限的硬件資源下實現(xiàn)復雜模型的本地化運行。不僅如此，愛芯元智還在積極探索如何借助大模型進一步提升AI-ISP的成像效果，從而在大模型時代的競爭中持續(xù)保持創(chuàng)新領先優(yōu)勢。

大模型家族

開放合作，共建個性化解決方案

愛芯元智的前端IPC芯片，已成功移植并優(yōu)化了市場上主流且廣泛應用的各類算法，實現(xiàn)了與后端芯片的無縫對接，并與成熟的算法廠商深度合作，通過持續(xù)推動成熟、商業(yè)價值顯著的算法適配，打造出既易于復制，又能迅速部署到各行業(yè)的解決方案。

愛芯元智還提供一系列與ISP緊密相關的算法支持，適配多種AI碎片化場景，包括：人車非檢測、客流統(tǒng)計、摔倒檢測、煙火檢測、高空拋物檢測、電動車進電梯檢測、安全帽檢測、垃圾堆檢測、遛狗牽繩等等，助力合作伙伴快速實現(xiàn)產品差異化與市場競爭力。

愛芯元智期待與更多算法廠商、硬件方案商及系統(tǒng)集成商等生態(tài)伙伴合作，共建開放、多方共贏的算法生態(tài)，共同打造普惠AI，造就美好生活。

審核編輯：劉清