電子發(fā)燒友網(wǎng)12月“處理器與DSP特刊”火熱下載中，缺你怎可！

　　過去幾年里，隨著高像素數(shù)、高分辨率和全高清錄像和播放功能在智能手機中的迅速普及，手機的相機功能取得了長足進展。雖然手機的應用處理器可以實現(xiàn)相機功能，比如快速攝像和在個人電腦和移動終端上瀏覽照片，但許多客戶更喜歡專用圖像信號處理器（ISP），因為它們能提供與高端緊湊型數(shù)碼相機相當?shù)膱D像質(zhì)量和效果。本文主要講述富士通針對手機開發(fā)的Milbeaut Mobile圖像信號處理LSI芯片的開發(fā)和性能。

　　1. 引言

　　憑借多樣化的應用和功能，智能手機市場一直在不斷擴大。而相機功能自從2000年被引入手機中以來，更是一路穩(wěn)步發(fā)展，到如今已成為能夠進行高像素數(shù)、高分辨率和全高清錄像和播放的一項主要手機功能。

　　Milbeaut Mobile是適用于手機相機功能的一個圖像信號處理器系列。它由富士通開發(fā)，從2003年開始暢銷市場。接下來，我們將對Milbeaut Mobile系列做簡要介紹，重點講述最新Milbeaut Mobile處理器MBG046的系統(tǒng)架構(gòu)、配置、功能和處理性能。

　　2. Milbeaut Mobile功能的演變

　　相機功能是通過使用一個安裝在手機上既小又薄的專用鏡頭和圖像傳感器實現(xiàn)的。最初這些限制阻礙了手機提供像數(shù)碼相機那樣的圖像質(zhì)量。因此，ISP必須能夠在這些嚴峻的制約條件下將鏡頭和圖像傳感器捕獲到的圖像質(zhì)量提升到用戶滿意的水平。

　　2008年，第三代Milbeaut Mobile ISP集成了這樣的數(shù)碼相機功能，如靜止圖像連續(xù)自動對焦（CAF）、人臉檢測和電子運動補償?shù)鹊龋▓D1）。最新一代ISP（MBG046）幾乎集成了所有相機功能。它還具有市場所要求的全高清（1920×1080像素）視頻、視頻CAF拍攝能力。

　　最近，隨著成像裝置的像素尺寸進一步縮小，像素越來越高，成像速度越來越快，圖像質(zhì)量問題逐步顯現(xiàn)，ISP功能也在增強。

　　3. ISP架構(gòu)

　　圖像處理器模塊是Milbeaut Mobile ISP的主要功能組件（圖2）。它可順次處理原始影像信號中從圖像傳感器接收的圖像數(shù)據(jù)，包括去噪和其他校正功能，從而產(chǎn)生美麗的圖像，并將圖像轉(zhuǎn)換成可以在移動終端或個人電腦屏幕上顯示的格式。

　　該模塊還可以利用硬件圖像過濾器和CPU對存儲在SDRAM（圖像數(shù)據(jù)存儲裝置）中的圖像數(shù)據(jù)進行額外處理（旋轉(zhuǎn)和畸變校正、軟件圖像處理等）。這有助于實現(xiàn)靈活的高級圖像處理，如人臉檢測、高動態(tài)范圍（HDR）復合處理、靜止圖像運動補償、對象跟蹤、全景圖像生成與場景檢測。

　　圖1 Milbeaut Mobile ISP功能的演變。

　　注：AE：自動曝光；AF：自動對焦；ARM：利用ARM有限公司構(gòu)建的平臺進行高速處理；AWB：自動白平衡；CSC：色彩空間轉(zhuǎn)換；CSI：相機串行接口；DMAC：直接存儲訪問控制器；EXT：外部；GPIO：通用輸入/輸出；I2C：內(nèi)部集成電路；INT：內(nèi)部；MIPI：移動行業(yè)處理器接口；PWM：脈寬調(diào)制；SIO：串行輸入/輸出；SPI：串行外設接口；UDC：USB設備控制器；YUV：由亮度和色差組成的信號格式。

　　圖2 MBG046框圖

　　4. MBG046 ISP的功能

　　MBG046是最新一代Milbeaut Mobile ISP處理器。其基本操作包括實時轉(zhuǎn)換和校正從傳感器輸出到與外部輸出模塊連接的應用處理器（圖2未顯示）的原始影像信號。因此，該ISP針對手機攝像系統(tǒng)進行了優(yōu)化，它使得應用處理器可以在屏幕上顯示接收到的圖像數(shù)據(jù)，并將數(shù)據(jù)存儲在存儲裝置中，而無需進行修改。

　　1）高速圖像處理

　　如第3部分所述，該圖像處理器可完成基本的圖像處理功能。它能以最多24幀/秒（fps）的速度處理8MB的??圖像，以60fps以上的速度處理高清圖像。

　　作為圖像處理器一部分的預處理器可接收來自圖像傳感器的原始影像信號，并對其進行順次轉(zhuǎn)換和校正處理。它還能收集有關(guān)圖像數(shù)據(jù)的統(tǒng)計數(shù)據(jù)。這些統(tǒng)計數(shù)據(jù)被用在軟件運算中，可幫助獲取合適的白平衡和曝光時間。計算結(jié)果被用于重置硬件，使其能夠完成基本的攝像操作。因此，幾乎所有基本的圖像處理功能都是在硬件中完成的，這有利于實現(xiàn)高速處理和低功耗。

　　2）強降噪

　　由于Milbeaut Mobile ISP針對的是內(nèi)置于手機中的相機，所以與之配套使用的鏡頭和圖像傳感器通常比數(shù)碼相機中所用的便宜，這就給圖像質(zhì)量造成了問題。在這種情況下，應對圖像噪聲顯得尤為重要。

　　為此，我們給圖像處理器配備了強于數(shù)碼相機中所用的降低亮度噪聲和色彩噪聲的機構(gòu)。為了在不損失分辨率的情況下消除噪聲，我們在MBG046中融入了最新技術(shù)，使其能夠同時運用與圖像特征匹配的不同去噪方法。

　　3）快速圖像處理

　　面向手機的產(chǎn)品必須被配置為能與下一處理階段中的應用處理器連接。除非來自傳感器的原始影像信號被轉(zhuǎn)換和校正后，結(jié)果盡快被發(fā)送到應用處理器，否則對響應敏感的項目（比如視頻）就會延時。如圖2所示，Milbeaut Mobile ISP之所以能達到這種速度，是因為它用直接發(fā)送經(jīng)過圖像處理單元處理的圖像數(shù)據(jù)到圖像輸出單元的功能，替代了通過SDRAM完成各種插值處理的常見方法。這幾乎完全消除了因轉(zhuǎn)換和校正原始影像信號導致的延時——延時被減至一張圖像傳輸時間的1%以下。

　　4）軟件配置

　　MBG046的軟件棧如圖3所示。攝像系統(tǒng)必備的軟件處理包括硬件順序控制和與“3A模塊”（自動白平衡調(diào)整、自動曝光調(diào)整和自動對焦）有關(guān)的運算。硬件控制器對不同的獨立圖像處理硬件裝置進行定時控制，使它們執(zhí)行圖像處理流程的一個序列。3A模塊通過從裝置驅(qū)動器獲取的亮度、色彩平衡和空間頻率信息計算出合適的曝光、白平衡和焦點。通過將那些涉及到的處理復雜但運算量小的部分交給軟件，而把那些涉及到大運算量圖像數(shù)據(jù)處理的部分歸于專用硬件，我們可以讓軟件的運算負荷維持在低水平，同時維持圖像處理性能。這使得CPU資源可被用于進行其它的軟件圖像處理（運動補償、人臉檢測等），它有助于打造一套靈活而具有先進處理能力的系統(tǒng)。

　　圖3 MBG046軟件棧

　　5. 結(jié)論

　　了解富士通針對手機的最新Milbeaut Mobile圖像信號處理器的演變、體系結(jié)構(gòu)和功能之后，我們可以預期隨著移動終端性能的繼續(xù)穩(wěn)步提升，要想讓相機功能繼續(xù)向著更低功耗、更快靜態(tài)成像、更小相機模塊外形、以及更高視頻數(shù)據(jù)容量和幀速率——伴隨更快的網(wǎng)絡信道——的目標邁進，市場對圖像信號處理器的要求定會不斷提高。富士通會繼續(xù)開發(fā)擁有最佳性能和功能的圖像信號處理器，為我們打造符合這些趨勢的可靠產(chǎn)品線創(chuàng)造條件。

——本文選自電子發(fā)燒友網(wǎng)12月《處理器與DSP特刊》“EE Design欄目”，轉(zhuǎn)載請注明出處，違者必究！