基于Blackfin的圖像處理，及其性能與CMOS傳感器中ISP的比較

圖像是人類獲取和交換信息的主要來源，因此，圖像處理的應用領域必然涉及到人類生活和工作的方方面面。隨著人類活動范圍的不斷擴大，圖像處理的應用領域也將隨之不斷擴大。遍布航天航空、醫(yī)療設備、通信工程、軍事安防、文化藝術等眾多方面。近年來，隨著消費類產(chǎn)品尤其是拍照手機、數(shù)碼相機、數(shù)碼攝像機等一系列數(shù)碼產(chǎn)品的問世，這些視頻設備中蘊含的圖像信號處理功能也逐漸被人們所認知和關注。而伴隨近年來數(shù)字電視、IP攝像機、網(wǎng)絡攝像頭以及監(jiān)控攝像頭這類安防產(chǎn)品的迅速發(fā)展，更表明市場對智能監(jiān)控需求的不斷增長，這也是圖像信號處理技術不斷豐富和完善的過程。在這些圖像信號處理中，包括自動對焦、自動曝光、自動白平衡以及顏色變換、背光補償?shù)榷际且恍┗镜膱D像處理算法。

傳統(tǒng)的圖像信號處理是通過專用的圖像處理器完成的。而隨著CMOS技術的不斷發(fā)展，也出現(xiàn)了將圖像信號處理（ISP）內置于CMOS圖像傳感器中的單芯片產(chǎn)品，這類傳感器產(chǎn)品可借助其內部集成的功能模塊完成一些圖像信號處理的算法，包括自動曝光、自動白平衡、顏色變換等這些基本的算法。這類ASIC產(chǎn)品的出現(xiàn)曾一度頗具爭議，因為雖然將ISP內置于傳感器中具有降低功耗和節(jié)省占用面積的優(yōu)點，但單就手機應用而言，從成本來講，將ISP集成在傳感器上的成本比ISP集成在移動多媒體處理器或基帶上要高很多。隨著傳感器分辨率的提高，越來越多的傳感器將只整合輸出數(shù)字信號所必需的電路，而將圖像處理及壓縮等功能集成于移動多媒體處理器或基帶中。而從成像質量來看，在移動多媒體處理器中集成功能強大的圖像處理功能效果更佳，而且此趨勢隨分辨率的提高會愈加明顯。所以業(yè)界一直有ISP與CMOS傳感器將背離集成的趨勢預言。但從近年來的CMOS傳感器供應商推出的新產(chǎn)品線來看，這一預言未能兌現(xiàn)。因為我們看到，不斷有一線的CMOS傳感器供應商如Aptina、OmniVision推出最新的內置ISP的CMOS圖像傳感器單芯片產(chǎn)品，并在不斷完善其功能、擴展其應用領域。目前已推出的這類單芯片產(chǎn)品除擁有包括曝光控制、伽瑪校正、白平衡、色彩飽和度調節(jié)以及灰度控制等多種圖像處理功能外，還可提供出色的低照度性能，在夜視環(huán)境下還具有優(yōu)異的近紅外響應性能，能為攝像頭制造商提供更完善的自動白平衡和自動曝光功能，圖像性能毫不遜色。一系列優(yōu)異性能使其已由最初的拍照手機、數(shù)碼相機、數(shù)碼攝像機應用逐漸發(fā)展到網(wǎng)絡攝像頭、監(jiān)控攝像頭等新興安防產(chǎn)品領域，其擴張態(tài)勢仍在繼續(xù)，大有星火燎原之勢。

應該說在數(shù)碼相機等追求小巧輕薄的消費類產(chǎn)品應用中，內置ISP的CMOS傳感器存在一定的競爭優(yōu)勢，低功耗和小面積的表現(xiàn)以及隨生產(chǎn)規(guī)模而不斷降低的成本使其成為眾多應用廠商的寵兒。在這同時我們要看到，這種內置ISP的CMOS傳感器方案目前還只能完成一些不太復雜的算法，而隨著智能化要求的不斷提高，消費類產(chǎn)品，尤其是視頻監(jiān)控等安防產(chǎn)品都要求更高的視頻處理功能，也就要求更復雜的算法，而復雜的算法對主芯片的處理能力提出更高的要求。如傳統(tǒng)上許多監(jiān)控攝像機基于像素分辨率為NTSC(352×240)或PAL(352×288)的準普通媒體格式(CIF)，同時在壓縮格式方面主要采用了不太復雜的M-JPEG格式，從而對DSP處理性能要求不高。但是隨著視頻監(jiān)控市場的迅速發(fā)展，人們期待更高的圖像清晰度和更高的幀率。在分辨率方面，業(yè)界期待D1（704×576）或者更高的解析度；在編解碼方面，則期待采用復雜的MPEG-4壓縮格式。同時，隨著網(wǎng)絡互聯(lián)的發(fā)展，當DVR、DVS或者IP攝像機作為網(wǎng)絡終端時，還需要考慮如何在傳輸過程中占用更少的帶寬，因此MPEG-4正在向壓縮比更高的H.264和AVS的編碼格式演進。而這些更為先進的視頻信號分辨率和壓縮格式則會大大提高對核心處理器中處理能力的需求。除了強大的處理能力之外，還需要處理器平臺提供足夠的靈活性。從目前來看，在壓縮格式方面雖然H.264最受業(yè)界青睞，有望成為未來幾年的的主流。但是，由于M-JPEG、H.263、MPEG4和H.264等編解碼算法各有優(yōu)勢，再加上市場需求的多元化，這些標準將會在一段時間內共存。要使方案具有競爭力，必須對盡可能多的標準給予支持。同時，媒體處理格式和算法也在不斷更新，當更為先進的算法出現(xiàn)時，工程師希望只需在原有解決方案基礎上進行基于軟件的簡便的升級，而不是重新設計。同時，視頻監(jiān)控又有其對保密性等安全技術的特殊要求，無論是商業(yè)還是家庭應用，設備本身都存在著被非法侵入和黑客攻擊的威脅，要充分保障設備的安全性對產(chǎn)品設計無疑是很大的挑戰(zhàn)。在這時，內置ISP的單芯片CMOS傳感器產(chǎn)品就顯示出先天不足的缺點，因其尚不能完成如此復雜的功能，而要配備單獨的圖像處理器才能滿足要求。ASIC雖然具有成本優(yōu)勢，但是在應對媒體格式、算法的改進和升級方面則具有天生的弊端，在音視頻標準不斷演進以及算法不斷改進的視頻監(jiān)控市場，ASIC顯得遜色很多。

在這里，傳統(tǒng)的處理器供應商如ADI、TI、NXP等具有不可替代的競爭力。其中ADI公司專為滿足當今嵌入式音視頻和通信應用的計算要求及功耗約束條件而設計的新型嵌入式處理器Blackfin系列以其突出的性能表現(xiàn)而格外搶眼。

Blackfin系列處理器在圖像處理方面有其獨特的技術優(yōu)勢，包括：

* 可以升級到最新的視頻標準，向用戶提供處理所有現(xiàn)有標準和未來標準的能力；

* 動態(tài)電源管理。所有的 Blackfin 處理器均采用了多種節(jié)能技術。Blackfin 處理器基于一種選通時鐘內核設計，可按照逐條指令來選擇性地切斷功能單元的電源。還支持多種針對所需 CPU 動作極少（或根本不需要 CPU 動作）期間的斷電模式。該處理器還支持一種自含動態(tài)電源管理電路，借助該電路即可對工作頻率和電壓進行獨立控制，以滿足正在執(zhí)行的算法的性能要求。這些轉換可以在一個 RTOS 或用戶固件的控制之下連續(xù)出現(xiàn)。大多數(shù) Blackfin 處理器都提供了片上內核穩(wěn)壓電路，并可在低至 0.8V 的電壓條件下工作，因而特別適合于需要延長電池使用壽命的便攜式應用；

* 具有高性能處理器內核。該處理器架構基于一個10級RISC MCU/DSP流水線和一個專為實現(xiàn)最佳代碼密度而設計的混合16/32位指令集架構，該架構很適合于高密度、大運算量的圖像處理系統(tǒng)；

* 高帶寬的DMA。圖像處理系統(tǒng)需要對大量的圖像數(shù)據(jù)進行處理，這涉及到內存數(shù)據(jù)存取，采用Blackfin的二維DMA控制器可以實現(xiàn)自動數(shù)據(jù)傳輸，大幅度減少處理器的內核開銷；專用的視頻指令集，圖像處理中存在大量的視頻像素處理，Blackfin處理器具有專門為8位視頻數(shù)據(jù)以及常用的視頻像素處理算法設計的指令集，大大提高了處理速度；

* 分級的存儲空間。Blackfin具有L1和L2兩級Cache，對于一些不適合使用DMA操作的數(shù)據(jù)，可以采用數(shù)據(jù)/代碼緩沖的模式來加快處理速度；

* 豐富的外設功能。Blackfin具有高速的串/并行數(shù)據(jù)接口，可以無縫的連接其它高速器件；

* 安全方面，Blackfin Lockbox Secure Technology利用軟硬件相結合的方式來實現(xiàn)各種安全保護功能。對系統(tǒng)進行鑒定的公共密鑰存儲于單次可編程（OTP）內存中的用戶可編程區(qū)域，這種存儲方式可以由OEM來控制和定義。同時由于其具有可編程性，使指令集可實現(xiàn)豐富的軟件加密算法，意味著相同的裝置能支持多種內容保護格式。故該技術可從來源的驗證、內容的完整性、機密性以及可更新性等多方面為整個視頻監(jiān)控設備提供一個安全環(huán)境；

* 低功耗、低成本也是Blackfin擁有突出性價比的制勝法寶。

基于以上技術特點，同時由于其強大的多媒體處理能力、專業(yè)的算法支持、和嵌入式實時操作系統(tǒng)，使Blackfin不僅能實現(xiàn)優(yōu)異的自動對焦等3A1B算法，還能夠執(zhí)行復雜的如自動精選代碼等計算密集型算法，尤其在對處理器要求極高的智能視頻監(jiān)控等產(chǎn)品中更發(fā)揮著出色的作用。

僅以智能視頻監(jiān)控產(chǎn)品為例，盡管已經(jīng)取得了巨大進展，智能視頻分析領域目前仍無公認的最優(yōu)方法。其自身研究內容的復雜性，使得算法復雜度高，適用范圍有限，研究方法和工具多樣，沒有魯棒性、準確度、速度都符合需求的普遍方法。同時，視頻監(jiān)控系統(tǒng)的網(wǎng)絡化和分布式處理的要求，以及大規(guī)模工程安裝對成本、體積和功耗的限制，使運算能力和帶寬都在不斷提高的嵌入式處理器成為視頻監(jiān)控系統(tǒng)的主流選擇。而非標準化的智能視頻分析，正是DSP的用武之地。

Blackfin的幾十個DMA通道和可靈活配置的Cache很好地滿足了視頻監(jiān)控系統(tǒng)對大運算量，高數(shù)據(jù)吞吐率的要求。10級流水線使得Blackfin有很強的指令并行執(zhí)行能力。零開銷循環(huán)控制指令讓系統(tǒng)中的大量循環(huán)跳轉不再消耗任何處理器的時鐘周期。利用這些優(yōu)勢，real解碼器的idct4×4算法在Blackfin上速度提高了7倍。

另外，視頻數(shù)據(jù)也有其自身的特性。在不同的顏色空間內，表示像素的每個分量通常是8位寬度。

Blackfin的4個視頻算術運算單元和視頻像素指令集大大加速了視頻運算速度。一條視頻像素操作指令可以在一個周期內完成4對視頻數(shù)據(jù)分量的加法、減法、加減混合、取平均值或者相減并求絕對值等11種視頻像素運算。這些運算在編解碼算法中的運動估計、loopfilter和智能視頻分析的各種算法中大量應用。在智能視頻分析的一些基礎算子中，如直方圖統(tǒng)計，中值運算，Sobel運算，形態(tài)學中的膨脹運算等都可以利用Blackfin的MIN,MAX指令來消除條件跳轉，節(jié)省處理器周期。不僅如此，Blackfin還支持13種非視頻數(shù)據(jù)的向量運算。適當?shù)卦O計數(shù)據(jù)結構，在前背景分離、閾值計算和更新等多個環(huán)節(jié)都可以運用Blackfin的特色指令從而使智能視頻分析的算法更加快捷。這些有效的指令中，大部分指令都能并行執(zhí)行，使Blackfin的處理能力再加倍。

應用方面，由南京新奕天科技有限公司與香港大學合作開發(fā)出的基于Blackfin系列最新產(chǎn)品BF561的一流智能視頻監(jiān)控設備ThinkSmart已經(jīng)推向市場。其中BF561獨特的雙核設計使ThinkSmart在處理核上能獨立的運行圖像處理和系統(tǒng)控制任務，從而達到最佳的整體性能，使此款產(chǎn)品能夠簡單而又有效檢測威脅或閑雜訪客，實現(xiàn)一系列智能化視頻監(jiān)控功能。

Blackfin系列處理器在圖像處理方面，尤其是應對智能化的技術挑戰(zhàn)方面，是眾多應用廠商的理想之選。ADI公司也在努力通過最新的CMOS深亞微米工藝尺度、更深的流水線、多內核、每個核心更多的計算單元，以及充分利用信號處理加速引擎，繼續(xù)提高Blackfin系列的性能，增強其在性價比和性能功耗比方面的領先地位。