導(dǎo)讀

圖像預(yù)處理是圖像處理關(guān)鍵中間環(huán)節(jié)，通過優(yōu)化傳感器到主機的數(shù)據(jù)傳輸處理為后續(xù)減負(fù)。其算法依托硬件執(zhí)行，搭載 FPGA 的友思特圖像采集卡以高速運算和并行特性縮短處理時間、降低延遲并提升吞吐量，助力高速分揀等系統(tǒng)快速決策。針對高速接口及實時 / 大數(shù)據(jù)量場景，該采集卡是必備組件，可在 FPGA 上完成去拜耳化、HDR 等預(yù)處理，為視覺系統(tǒng)高效運行奠基。

前言

圖像預(yù)處理是圖像處理過程中的一個中心中間步驟，圖像從傳感器到圖像采集卡中進(jìn)行處理，再到在主機 PC 中輸出結(jié)果。它確保圖像數(shù)據(jù)針對相應(yīng)的應(yīng)用進(jìn)行優(yōu)化，安全地傳輸。圖像預(yù)處理的目的是準(zhǔn)備數(shù)據(jù)，以簡化進(jìn)一步的處理步驟并減輕主機PC處理的負(fù)擔(dān)。

預(yù)處理中使用的圖像處理算法取決于相機傳感器的現(xiàn)有的圖像質(zhì)量。這些算法可以在圖像采集卡的板載FPGA上執(zhí)行，也可以在其他視覺硬件（如相機本身、后端PC等）上執(zhí)行。

而FPGA的高速運算和并行特性可縮短圖像處理時間，從而降低系統(tǒng)延遲和提高吞吐量。此外，F(xiàn)PGA圖像處理可以允許高速分揀機、表面和幅材檢測等系統(tǒng)的控制器更快速地基于所采集的圖像作出決策

（友思特FPGA圖像采集卡）

（FPGA vs PC預(yù)處理CPU使用對比）

對于高速接口（如 CoaXPress、Camera Link 和 Camera Link HS）而言，圖像采集卡是整個系統(tǒng)搭建必要組件，并且對于實時要求較高或大數(shù)據(jù)量傳輸來說，圖像采集卡是必不可少的。它可以直接在FPGA上進(jìn)行更廣泛的預(yù)處理。例如高質(zhì)量的去拜耳化、圖像有損/無損壓縮、高動態(tài)范圍（HDR）、Blob分析、白平衡等，具體取決于應(yīng)用。

通過壓縮減少數(shù)據(jù)量

JPEG壓縮,Lossless壓縮,Quality+壓縮

方案一：Quality+壓縮方案

1:20+ 壓縮比情況下保證更加優(yōu)秀圖像質(zhì)量

友思特合作伙伴Gidel的Quality+（Q+）壓縮算法實時壓縮彩色濾鏡陣列（CFA - 例如，拜耳）、Mono、RGB圖像和視頻。

Q+算法徹底改變了傳統(tǒng)圖像壓縮算法，在保持原始圖像質(zhì)量的同時，為高帶寬圖像流實現(xiàn)了高達(dá) 1：20+ 甚至更高的壓縮比。

與會降低圖像保真度的傳統(tǒng)壓縮方法不同，Quality+通過保持原始信噪比（SNR）來保持圖像質(zhì)量不降低，同時智能優(yōu)化壓縮，Quality+通過將圖像中的無效噪聲替換為壓縮高效的噪聲，從而在不犧牲關(guān)鍵細(xì)節(jié)的情況下提高壓縮效率。

Quality+算法支持動態(tài)訓(xùn)練，允許系統(tǒng)根據(jù)特定視頻流特征自適應(yīng)優(yōu)化壓縮參數(shù)，確保針對不同應(yīng)用場景（如半導(dǎo)體檢測、高速運動捕捉）實現(xiàn)壓縮效率最大化。Quality+運行于HawkEye系列FPGA圖像采集卡，徹底釋放 CPU/GPU負(fù)載算力壓力，支持千兆像素/秒級吞吐量，實現(xiàn)無瓶頸壓縮處理。

(通過調(diào)整GOP值，實現(xiàn)圖像質(zhì)量與壓縮間平衡)

Quality+具有最小的延遲和幀延遲下的處理，可確保實時響應(yīng)能力，使其成為錄制和流媒體應(yīng)用程序的理想解決方案。

方案二：無損壓縮方案

兩種壓縮模式，多種素材格式實時壓縮

通過在FPGA上實現(xiàn)的無損壓縮IP，可對彩色濾光片陣列（CFA – 例如拜耳）、Mono和RGB圖像和視頻執(zhí)行實時壓縮。在Airra 10 FPGA 資源上，在實際視頻應(yīng)用中實現(xiàn)了接近1：3的無損壓縮比。

并且根據(jù)不同壓縮方式，得到的壓縮效果也有差異，主要有兩種壓縮模式：

√ 壓縮單個圖像幀

√ 使用I幀和P幀對整個視頻實現(xiàn)更高壓縮比

同時，壓縮可以通過基于樣本圖像數(shù)據(jù)的預(yù)訓(xùn)練或基于實時數(shù)據(jù)的動態(tài)訓(xùn)練優(yōu)化。

壓縮前2400*1600,10.9MB	無損壓縮后2400*1600,3.66MB

方案三：實時JPEG壓縮方案

壓縮程度可選，平衡存儲大小和圖像質(zhì)量

實時JPEG圖像壓縮（編碼器）IP可在FPGA上實現(xiàn)高性能JPEG壓縮。壓縮IP具有快速處理能力、低延遲和緊湊的芯片利用率。由于其緊湊性，該壓縮IP可以在小型FPGA器件上實現(xiàn)，以實現(xiàn)高性能的相機圖像流壓縮，或者，該IP可以在單個較大的FPGA器件上多次部署。

JPEG壓縮IP的輸入流為YCbCr格式，帶有RGB、Mono等可選的轉(zhuǎn)換器。用戶可以調(diào)整圖像壓縮程度，從而在存儲大小和圖像質(zhì)量之間進(jìn)行選擇性權(quán)衡。

壓縮前2400*1600,10.9MB	JPEG壓縮后2400*1600,2.13MB

（JPEG壓縮IP支持壓縮比例動態(tài)調(diào)整，存儲大小和圖像質(zhì)量之間進(jìn)行選擇性權(quán)衡）

HDR擴大圖像動態(tài)范圍

主要特點

√ 高性能單次****曝光實現(xiàn)高動態(tài)范圍 （HDR）

傳統(tǒng) HDR 依賴于多次曝光，但這種方法對于涉及運動或高數(shù)據(jù)速率的應(yīng)用程序來說通常是不切實際的。友思特HDR IP 通過創(chuàng)新的單次曝光算法克服了這些限制，使用基于FPGA的處理提供完美的HDR質(zhì)量和性能。

**√ **高圖像質(zhì)量和無限吞吐量

通過提供實時、高質(zhì)量的 HDR，幾乎零延遲的圖像預(yù)處理IP。HDR IP不僅分析每個像素的亮度數(shù)據(jù)，還分析周圍像素，動態(tài)調(diào)整 HDR 處理以考慮局部亮度變化，從而脫穎而出。這種環(huán)境敏感的方法可以增強細(xì)微的細(xì)節(jié)，即使在具有挑戰(zhàn)性的照明下也是如此，從而提供具有出色保真度的圖像。Gidel專有的HDR 算法與FPGA架構(gòu)相結(jié)合，能夠同時處理無限的多個像素，從而在超寬像場中實現(xiàn)高速、高效的 HDR 性能。

√ 集成到 ISP 管道

同時HDR CPU卸載可以輕松集成到HawkEye圖像采集卡和 FPGA 模塊中。它可以與用戶IP和/或其他實時、零延遲圖像增強模塊結(jié)合使用，例如Gamma 校正、白平衡、去拜耳化和壓縮等。這種模塊化方法允許完全優(yōu)化的端到端解決方案，以滿足任何成像應(yīng)用的特定需求。

ROI提高傳輸速率，專注感興趣區(qū)域處理

友思特HawkEye采集卡的優(yōu)勢在于，能夠在板載FPGA上實時處理識別圖像中的感興趣區(qū)域(ROIs)，并能智能、動態(tài)地調(diào)整ROI區(qū)域和參數(shù)并優(yōu)化傳輸效率。FPGA通過硬件并行性（如流水線處理和定制IP核）實現(xiàn)微秒級ROI提取。同時板載圖像處理可實現(xiàn)僅傳輸ROI數(shù)據(jù)(而非全幀)，降低傳輸負(fù)載，實現(xiàn)高效數(shù)據(jù)傳輸。

Viewsitec

友思特圖像預(yù)處理解決方案

PCIE圖像采集卡

VST

提供GigE Vison、Cameralink、Coaxpress等多種接口的圖像采集卡，兼容性極強，采用強大的Arria 10 FPGA，具備大容量內(nèi)存、高帶寬數(shù)據(jù)傳輸通道和豐富的I/O接口，保證100%的幀捕獲，廣泛用于實時、高帶寬視覺和圖像處理等應(yīng)用。

FantoVision

嵌入式邊緣計算機

VST

基于FPGA和GPU實現(xiàn)20Gb/s & 40Gb/s高帶寬圖像采集、記錄與處理的嵌入式邊緣計算機，F(xiàn)antoVision的架構(gòu)使用NVIDIA Jetson嵌入式計算機與高端圖像采集的實時圖像處理結(jié)合起來，具有高性能的FPGA處理能力，開放式架構(gòu)，可自定義圖像處理，為各類應(yīng)用場景帶來更高的處理速度和更高帶寬選擇。

審核編輯 黃宇