智能化紅外焦平面探測器的出現(xiàn)，依賴于先進(jìn)的紅外材料、器件技術(shù)和工藝水平以及集成電路技術(shù)和工藝的飛速發(fā)展；其能夠針對(duì)不同的場景對(duì)探測器的工作狀態(tài)進(jìn)行自適應(yīng)調(diào)整，而且在探測器上能夠?qū)崿F(xiàn)部分信號(hào)處理功能。智能化紅外探測器的出現(xiàn)，大大提高了紅外系統(tǒng)的靈活性，同時(shí)為日益復(fù)雜的探測場景提供了更加精準(zhǔn)的探測能力。

據(jù)麥姆斯咨詢報(bào)道，近期，中電科光電科技有限公司的科研團(tuán)隊(duì)在《激光與紅外》期刊上發(fā)表了以“智能化紅外焦平面應(yīng)用前景與發(fā)展現(xiàn)狀”為主題的文章。該文章第一作者為袁媛。

本文從智能化紅外探測器應(yīng)用的背景需求作為切入點(diǎn)，闡明發(fā)展智能化探測器的必要性；最后介紹了智能化紅外探測器發(fā)展?fàn)顩r及未來發(fā)展趨勢。

智能化紅外焦平面發(fā)展的背景需求

智能化紅外系統(tǒng)是用紅外傳感器代替人的眼睛，用專用高速微型計(jì)算機(jī)模擬人的分析、推理、判斷、決策等邏輯功能，用“算法”復(fù)制人的思維過程。而智能化紅外傳感器在“看”的同時(shí)，也要對(duì)看到信息作出判斷和反饋，從而替代高速微型計(jì)算機(jī)完成思維過程。

在現(xiàn)代軍事應(yīng)用中，為實(shí)現(xiàn)紅外系統(tǒng)高集成度小型化，需要進(jìn)一步降低系統(tǒng)的體積、重量、功耗等；同時(shí)，為了使后端成像系統(tǒng)更加簡化，部分成像算法需要在探測器內(nèi)部實(shí)現(xiàn)；以上兩個(gè)應(yīng)用成為智能化紅外焦平面技術(shù)發(fā)展的動(dòng)力。根據(jù)實(shí)際應(yīng)用背景，智能化紅外焦平面需要突破一系列關(guān)鍵技術(shù)，從而使紅外系統(tǒng)變得更緊湊，具備靈活機(jī)動(dòng)性、大大提高了可靠性。如圖1所示為智能化紅外探測器概念示意圖。

圖1 智能化紅外探測器概念示意圖

紅外遙感應(yīng)用需求

紅外遙感中在對(duì)區(qū)域目標(biāo)進(jìn)行成像時(shí)，探測器的視場角和像素?cái)?shù)量限制了衛(wèi)星單次觀測的信息量，成像系統(tǒng)單次獲取的信息無法形成完整視場圖像，因此需要采用紅外圖像拼接技術(shù)將多次觀測獲取的不同圖像拼接到一起，從而獲得探測區(qū)域的完整信息。

紅外遙感圖像拼接的原理是將多張紅外遙感圖像重疊的區(qū)域進(jìn)行特征點(diǎn)提取、描達(dá)，最終通過圖像融合拼接成一張圖像。其中，圖像特征匹配（特征點(diǎn)提取、描述）是紅外遙感圖像拼接至關(guān)重要的一步，該過程的數(shù)據(jù)會(huì)對(duì)圖像質(zhì)量的高低與獲取圖像時(shí)間的長短產(chǎn)生重要影響。為了使各圖像重疊區(qū)域的特征能夠精確匹配，需要對(duì)探測器采集的多張?jiān)紙D像進(jìn)行圖像預(yù)處理，保證拼接過程中對(duì)圖像特征點(diǎn)的抓取淮確度以及特征點(diǎn)匹配精度不受原始圖像質(zhì)量影響。

紅外成像電路從探測器杜瓦接口處獲得的電信號(hào)往往會(huì)受到杜瓦內(nèi)部排線的干擾，從而在讀出電路輸出電信號(hào)上疊加了噪聲，特別是對(duì)于航天遙感應(yīng)用的大面陣、長線列拼接探測器；另外，在傳統(tǒng)的模擬域讀出電路內(nèi)部，探測器積分信號(hào)在讀出電路內(nèi)部傳輸鏈路上也易受到干擾，使探測器信噪比降低。這就使得紅外遙感原始圖像的信噪比、對(duì)比度和像素分辨率都處于較低水平，圖像的邊緣信息模糊不夠銳利，后端成像系統(tǒng)很難直接從圖像中獲得足夠精準(zhǔn)的信息，因此需要對(duì)原始圖像進(jìn)行圖像增強(qiáng)預(yù)處理。為了簡化圖像拼接過程，縮短圖像拼接時(shí)間，希望將圖像增強(qiáng)及降噪預(yù)處理放在探測器內(nèi)實(shí)現(xiàn)，通過簡單的時(shí)間、空間濾波等算法，獲得高信噪比、高對(duì)比度的原始圖像。

圖像預(yù)處理的另一個(gè)目的就是在探測器片外進(jìn)行盲元替換。紅外探測器存在盲元，其反應(yīng)在圖像上是分布在圖像中的一些無規(guī)律的白點(diǎn)或者黑點(diǎn)，若對(duì)地遙感成像時(shí)各張圖像中重復(fù)的位置落在盲元上，那么當(dāng)對(duì)圖像進(jìn)行相關(guān)的配準(zhǔn)時(shí)，會(huì)由于盲元的存在而造成對(duì)特征點(diǎn)抓取困難，從而導(dǎo)致匹配準(zhǔn)確率下降。在成像系統(tǒng)中對(duì)遙感原始圖像的盲元替代工作量非常大，若探測器能夠在成像過程中，實(shí)時(shí)檢測盲元，并對(duì)盲元進(jìn)行補(bǔ)償，那么將大大減輕圖像預(yù)處理的數(shù)據(jù)量；在紅外探測器內(nèi)部實(shí)現(xiàn)實(shí)時(shí)盲元檢測和補(bǔ)償?shù)牧硪粋€(gè)好處，是可以避免探測器在使用中產(chǎn)生地面無法獲得的臨時(shí)盲元信息，從而無法進(jìn)行地面盲元補(bǔ)償，降低各張圖像間的匹配準(zhǔn)確率。

紅外制導(dǎo)應(yīng)用需求

為了更好地適應(yīng)未來信息化電子戰(zhàn)環(huán)境，紅外導(dǎo)引頭作為紅外精確制導(dǎo)武器系統(tǒng)的核心，需要具備更強(qiáng)的紅外探測能力、更快的圖像實(shí)時(shí)處理速度和更敏銳的電子感知能力。其中，紅外成像探測技術(shù)、圖像實(shí)時(shí)處理技術(shù)等均是現(xiàn)階段各個(gè)國家圍繞提高制導(dǎo)武器系統(tǒng)智能化水平和抗干擾能力的重點(diǎn)發(fā)展方向。

紅外成像探測技術(shù)

隨著新型紅外干擾技術(shù)的日益發(fā)展，紅外成像探測技術(shù)所面臨的目標(biāo)信息、環(huán)境狀態(tài)和任務(wù)使命均更加復(fù)雜化多樣化。這就要求紅外探測器具備大視場、高分辨率的大規(guī)格、小尺寸像元特征；而且為了有效降低數(shù)據(jù)壓縮、特征提取以及數(shù)據(jù)鏈傳輸?shù)膹?fù)雜性，紅外探測器需要具備智能焦平面陣列的全數(shù)字化信息處理能力。

此外，紅外成像探測維度日趨豐富，目標(biāo)探測、跟蹤與識(shí)別的信號(hào)空間逐漸地由低維度向高維度演化，其表現(xiàn)為信號(hào)輸入維度和處理維度呈逐步增加的趨勢，這就引起了較高光譜分辨率和探測低特征目標(biāo)所需要的探測靈敏度的矛盾。為了解決這一矛盾，需要紅外探測器能夠動(dòng)態(tài)感知目標(biāo)場景，并根據(jù)目標(biāo)場景變化具備實(shí)現(xiàn)動(dòng)態(tài)開窗、局部像元重構(gòu)等能力，結(jié)合片內(nèi)數(shù)據(jù)信號(hào)壓縮感知算法（利用適度規(guī)格紅外焦平面陣列獲得的高分辨率圖像），在不影響高分辨率的同時(shí)提高低特征目標(biāo)的靈敏度。

圖像實(shí)時(shí)處理技術(shù)

在紅外制導(dǎo)系統(tǒng)中，圖像實(shí)時(shí)處理技術(shù)是對(duì)來自紅外成像探測系統(tǒng)信號(hào)進(jìn)行分析與甄別，并對(duì)目標(biāo)信號(hào)中的背景噪聲和紅外誘餌干擾進(jìn)行撇除，提取真實(shí)的目標(biāo)信號(hào)，進(jìn)而計(jì)算目標(biāo)位置和命中點(diǎn)。一般包括紅外圖像預(yù)處理、紅外圖像實(shí)時(shí)檢測、目標(biāo)圖像實(shí)時(shí)跟蹤三類關(guān)鍵技術(shù)。其中，目標(biāo)圖像實(shí)時(shí)跟蹤是紅外導(dǎo)引頭圖像實(shí)時(shí)處理的關(guān)鍵技術(shù)之一，現(xiàn)階段實(shí)現(xiàn)高精度目標(biāo)跟蹤的算法已經(jīng)獲得重大突破，但仍亟待解決的是算法運(yùn)算量和存儲(chǔ)空間的需求增加，造成實(shí)時(shí)跟蹤上的困難，這就對(duì)紅外探測器智能化提出了要求。希望通過在紅外焦平面讀出電路上完成時(shí)間濾波、空間濾波、圖像穩(wěn)定等算法，將圖像噪聲、背景抑制等預(yù)處理功能放在探測器內(nèi)部完成，片外釋放出的數(shù)據(jù)存儲(chǔ)空間可以更多的被目標(biāo)圖像實(shí)時(shí)跟蹤技術(shù)利用；另外，在片上增加運(yùn)動(dòng)檢測、目標(biāo)軌跡識(shí)別等圖像實(shí)時(shí)檢測功能，可以大大降低紅外探測器數(shù)據(jù)吞吐量，從而降低目標(biāo)圖像實(shí)時(shí)跟蹤算法運(yùn)算量以及信號(hào)空間存儲(chǔ)量。

智能化紅外焦平面研制進(jìn)展

21世紀(jì)初期，由軍事需求做牽引，美國、法國、英國等西方技術(shù)發(fā)達(dá)國家提出了紅外焦平面智能化概念，意圖簡化外部信息處理，提高搜索速度和態(tài)勢感知速度，減小體積、質(zhì)量，降低功耗和成本，提高可靠性。

從傳統(tǒng)的被動(dòng)接收光電信號(hào)并將其轉(zhuǎn)化為模擬域電壓信號(hào)，到對(duì)接收的光電信號(hào)進(jìn)行數(shù)字域信號(hào)轉(zhuǎn)化、片上信號(hào)處理功能、自主分析反饋，最后達(dá)到自主學(xué)習(xí)能力，智能化焦平面的發(fā)展不是一蹴而就的，其發(fā)展需通過技術(shù)不斷積累創(chuàng)新，也需要其他新興技術(shù)的支持。

智能化紅外焦平面基礎(chǔ)階段———數(shù)字像元焦平面

數(shù)字像元焦平面技術(shù)是實(shí)現(xiàn)智能化紅外焦平面的技術(shù)基礎(chǔ)，焦平面各光電二極管獲得的所有光電信號(hào)在讀出電路上都被轉(zhuǎn)換為數(shù)字格式，利用數(shù)字域信號(hào)處理的靈活性，在芯片級(jí)完成多種復(fù)雜的計(jì)算、控制等功能。因此，紅外數(shù)字像元焦平面是智能化紅外焦平面的初期階段。

法國sofradir公司聯(lián)合CEA-LETI研制出的幾款數(shù)字像元探測器在探測靈敏度、動(dòng)態(tài)范圍等性能方面具備較高水平。土耳其自然科學(xué)工程院在兩步量化技術(shù)上也頗有研究，2015年，其報(bào)道了陣列規(guī)模32×32，中心間距30 μｍ兩級(jí)量化數(shù)字化焦平面樣品及測試結(jié)果。圖2為像素級(jí)數(shù)字化結(jié)合TDI功能讀出電路的結(jié)構(gòu)圖。

圖2 像素級(jí)數(shù)字化結(jié)合TDI功能讀出電路結(jié)構(gòu)圖

目前，國內(nèi)已具備數(shù)字像元焦平面探測器制備能力，多家致力于紅外焦平面研制的單位均已開展對(duì)數(shù)字像元焦平面的研制，并有相應(yīng)樣品報(bào)道。雖然已具備開展智能化紅外焦平面的基礎(chǔ)，但是受限于技術(shù)水平及CMOS工藝水平等，我國智能化紅外焦平面樣品問世還需要一段時(shí)間。

智能化紅外焦平面初級(jí)階段———被動(dòng)式片上信號(hào)處理功能

在數(shù)字像元焦平面技術(shù)基礎(chǔ)上，利用光電信號(hào)轉(zhuǎn)換后的數(shù)字域信號(hào)為實(shí)現(xiàn)片上信號(hào)處理提供能了可能。

可變空間分辨率技術(shù)可以看做最早在焦平面內(nèi)實(shí)現(xiàn)的片上信號(hào)處理功能。在美國空軍研究實(shí)驗(yàn)室的贊助下，美國Nova Biomimietcs公司研制出一款像素陣列320×256，通過像元重構(gòu)獲得具有分辨率幀速率可變功能的紅外焦乎面。這種器件通過片外程控，用戶以幀速率調(diào)整陣列元空間分布，像元的空間組態(tài)可以依據(jù)用戶需求調(diào)整出各種組合狀態(tài)。像元空間分布窗口的中心可在整個(gè)焦平面陣列內(nèi)移動(dòng)，從而獲實(shí)現(xiàn)探測目標(biāo)的高精度跟蹤。這種片上可變空間分辦率技術(shù)，對(duì)于所關(guān)心的探測目標(biāo)在空間維度上能夠達(dá)到最優(yōu)的空間分辨率，同時(shí)將不在探測關(guān)心范圍內(nèi)的背景像元利用更大超像元模式輸出實(shí)現(xiàn)高幀頻，這就使探測器在超寬的視場中具各最優(yōu)的分辦率，圖3展示了探測器不同像元空間組態(tài)及讀出狀態(tài)特征。此技術(shù)唯一的缺點(diǎn)是需要用戶在探測器外部進(jìn)行程控，探測器不具備自適應(yīng)能力。

圖3 不同像元空間組態(tài)及讀出狀態(tài)特征

美國麻省理工林肯實(shí)驗(yàn)室，一直致力于開發(fā)數(shù)字智能化焦平面陣列讀出電路。2006年，研制出的第一款數(shù)字像元焦平面探測器就利用信號(hào)在正交的四個(gè)方向上進(jìn)行數(shù)據(jù)傳輸并與像素內(nèi)計(jì)算相結(jié)合，實(shí)現(xiàn)背景減除和空間濾波功能，該探測器陣列規(guī)模256×256，像元中心間距30 μｍ，讀出電路采用90 nm CMOS工藝，圖4展示了信號(hào)正交傳輸數(shù)字像元讀出電路原理圖。

圖4 信號(hào)正交傳輸數(shù)字像元讀出電路原理圖

隨后幾年，林肯實(shí)驗(yàn)室以相同陣列規(guī)模探測器作為典型產(chǎn)品，通過片上功能算法開發(fā)、像素級(jí)ADC優(yōu)化，至2014年，采用更小CMOS線寬65 nm工藝，使得讀出電路片上集成的功能達(dá)到頂峰。其通過像素內(nèi)雙向計(jì)數(shù)ADC使探測器獲得對(duì)變化場景實(shí)時(shí)探測及背景減除的能力；通過正交傳輸架構(gòu)，在獲取圖像時(shí)將圖像與預(yù)定義的濾波核進(jìn)行卷積，這就可以在片內(nèi)實(shí)現(xiàn)對(duì)二維圖像數(shù)據(jù)進(jìn)行低通濾波、高通濾波、紋理濾波，而不需要額外的成像處理系統(tǒng)對(duì)圖像進(jìn)行過濾，進(jìn)而實(shí)現(xiàn)了片上圖像穩(wěn)定處理、非均勻性校正、盲元替換、圖像時(shí)間空間濾波、圖像鎖定和放大等功能，圖5為采用不同圖像濾波算法得到的成像圖；通過像素內(nèi)增益轉(zhuǎn)換，使得讀出電路可以匹配從短波到甚長波紅外焦平面的應(yīng)用。雖然實(shí)現(xiàn)了多種片上信號(hào)處理功能，但是這些功能都是通過片外觸發(fā)的，距離自適應(yīng)智能化焦平面還有差距。未來，他們規(guī)劃將焦平面規(guī)模擴(kuò)展到4028×4028規(guī)模，像元間距縮小到12 μｍ以下，采用≤32 nm CMOS線寬工藝，重點(diǎn)是要在像素內(nèi)實(shí)現(xiàn)閾值比較邏輯計(jì)算，初步實(shí)現(xiàn)焦平面自適應(yīng)能力。

圖5 不同圖像濾波算法成像圖

美國Senseeker Engineering公司，在2021年報(bào)道了一款數(shù)字化高動(dòng)態(tài)紅外成像儀，利用數(shù)字化焦平面技術(shù)實(shí)現(xiàn)幀內(nèi)高動(dòng)態(tài)成像，替代傳統(tǒng)的采用多幀圖像組合的幀間高動(dòng)態(tài)成像，大大提高了時(shí)間分辨率，并且解決了運(yùn)動(dòng)目標(biāo)成像模糊的問題。該高動(dòng)態(tài)紅外成像儀規(guī)模為1280×720，幀內(nèi)高動(dòng)態(tài)成像是通過不同的積分時(shí)間對(duì)相鄰像素進(jìn)行空間插值來獲得的，圖6給出了不同時(shí)間交替積分的2×2像素棋盤陣列，實(shí)際電路中時(shí)間交替集成陣列規(guī)?？梢愿鶕?jù)不同應(yīng)用場景在外部程序控制下擴(kuò)展到任意規(guī)模，圖7展示了在同一場景下不同積分模式下得到的幀圖像。實(shí)現(xiàn)在不影響時(shí)間分辨率的情況下動(dòng)態(tài)范圍提升了57 dB，并且基本保持了空間分辨率。不難看出，這種像素棋盤陣列的長短時(shí)間交替積分功能，在探測器內(nèi)部利用較少的資源實(shí)現(xiàn)片上圖像處理功能。

圖6 不同時(shí)間交替積分2×2像素棋盤陣列

圖7 同一場景的不同積分模式下幀圖像

英國航空航天系統(tǒng)公司（BAE）公司在智能化紅外焦平面研制方面也頗有成就，其采用三維垂直集成技術(shù)（如圖8所示），將焦平面、專用集成電路芯片、動(dòng)態(tài)存儲(chǔ)器陣列芯片通過垂直互連從而能夠在探測器內(nèi)部實(shí)現(xiàn)高級(jí)圖像處理。雖然該焦平面為非制冷型，但三維垂直集成技術(shù)的出現(xiàn)，為焦平面智能化提供了更多的可能性。

圖8 采用三維垂直集成技術(shù)的智能化焦平面架構(gòu)

雖然目前單片集成像素探測感知、信號(hào)計(jì)算、圖像處理能力的紅外焦平面已經(jīng)被成功研制，但是仍然采用“先感知、后計(jì)算處理”以及外部程控的方式，距離完全智能化還有一定差距。

智能化紅外焦平面高級(jí)階段———自適應(yīng)能力及自主學(xué)習(xí)能力

智能化紅外焦平面的終極目標(biāo)，是實(shí)現(xiàn)能夠?qū)Σ煌瑘鼍?、探測目標(biāo)的實(shí)時(shí)變化通過調(diào)整參數(shù)配置，自動(dòng)收集最相關(guān)數(shù)據(jù)的自適應(yīng)能力；以及對(duì)收集到最有價(jià)值的信息進(jìn)行自主學(xué)習(xí)判別、在復(fù)雜情況下自動(dòng)決策的能力。

美國國防高級(jí)計(jì)劃研究局（DARPA）于2016年提出了“可重構(gòu)成像（Reimagine）”項(xiàng)目，核心目標(biāo)是研制智能化的成像探測器。項(xiàng)目中提出了具有內(nèi)部反饋成像系統(tǒng)的創(chuàng)新概念，該項(xiàng)目重點(diǎn)將開發(fā)自適應(yīng)學(xué)習(xí)的學(xué)習(xí)算法，并將開發(fā)出的創(chuàng)新概念在不同硬件層實(shí)現(xiàn)；利用集成電路的三維垂直集成技術(shù)，可以選擇不同類型探測器芯片與像素ADC讀出電路、適合成像探測器操作目的的硬件層進(jìn)行互連，從而針對(duì)不同應(yīng)用需求“重構(gòu)“成像系統(tǒng)（如圖9所示）。

圖9 “可重構(gòu)成像”實(shí)現(xiàn)邏輯圖

該項(xiàng)目將開發(fā)的可重構(gòu)集成電路試圖打破每像素固定資源的傳統(tǒng)模式，取而代之的是提供大量的數(shù)字邏輯資源和可重構(gòu)路由通道，這些路由通道可以根據(jù)需要使用與FPGA相同的編程技術(shù)分配給像素。這些算法能夠根據(jù)場景的背景和各種數(shù)據(jù)的預(yù)測值將信息內(nèi)容最大化并做出決策。

2017年，DARPA同時(shí)授予DRS網(wǎng)絡(luò)和成像系統(tǒng)公司、沃克特爾公司（Voxtel）、英國航空航天系統(tǒng)公司（BAE）電子系統(tǒng)部門和洛馬公司（LM）導(dǎo)航和火控部門“可重構(gòu)多功能成像傳感器”合同，計(jì)劃用時(shí)45個(gè)月，完成該項(xiàng)目的研制工作。可以預(yù)見“可重構(gòu)多功能成像傳感器”若成功研制，即將在全球范圍內(nèi)掀起自適應(yīng)能力及自主學(xué)習(xí)能力智能化紅外焦平面的熱潮。

總結(jié)與展望

以紅外制導(dǎo)、紅外遙感等應(yīng)用需求作為牽引，數(shù)字像元焦平面技術(shù)作為技術(shù)基礎(chǔ)，智能化紅外焦平面的研究已經(jīng)取得了階段性的發(fā)展，已經(jīng)獲得具備圖像穩(wěn)定處理、非均勻性校正、盲元替換、圖像時(shí)間空間濾波等片上信號(hào)處理功能的初級(jí)智能化焦平面探測器樣品，其在一定程度上減小傳感器帶寬和傳感器接口數(shù)據(jù)吞吐量，簡化了片外圖像信息處理系統(tǒng)硬件條件。對(duì)于自適應(yīng)能力和自主學(xué)習(xí)能力的智能化需求，更高一級(jí)的智能化紅外焦平面也正在開發(fā)中。

未來，紅外焦平面?zhèn)鞲衅鞯男螒B(tài)會(huì)更加多元化。隨著各學(xué)科技術(shù)的發(fā)展，學(xué)科間的壁壘將不斷被打破，將基于仿生學(xué)、新一代人工智能技術(shù)、以及先進(jìn)的制造技術(shù)等多學(xué)科與紅外焦平面技術(shù)相融合，將計(jì)算處理融入傳感器視覺信息感知過程，實(shí)現(xiàn)感知和處理“一體化”的智能型紅外焦平面。

審核編輯：劉清