遠見 閔青云 文

近日，清華大學(xué)黃翊東、崔開宇團隊以“Deep-learning-based on-chip rapid spectral imaging with high spatial resolution”為題在Chip期刊上發(fā)表研究論文，提出將深度展開神經(jīng)網(wǎng)絡(luò)ADMM-net與基于自由形狀的超構(gòu)表面光譜成像芯片相結(jié)合，實現(xiàn)了高空間分辨率的片上快速光譜成像，并消除了光譜圖像的馬賽克現(xiàn)象。本文第一作者為楊家偉，通訊作者為崔開宇和黃翊東。Chip是全球唯一聚焦芯片類研究的綜合性國際期刊，是入選了國家高起點新刊計劃的“三類高質(zhì)量論文”期刊之一。

光譜成像擴展了傳統(tǒng)彩色（RGB）相機的概念，可以在多個光譜通道捕獲圖像，在遙感、精準農(nóng)業(yè)、生物醫(yī)學(xué)、環(huán)境監(jiān)測和天文學(xué)等領(lǐng)域得到了廣泛應(yīng)用。傳統(tǒng)的基于掃描方式的光譜相機存在采集速度慢、體積大、成本高等問題。基于超構(gòu)表面（Metasurface）寬帶調(diào)制和計算光譜重建的片上光譜成像為實現(xiàn)消費級的便攜式光譜相機提供了一種很有前景的方案。圖1展示了超構(gòu)表面光譜成像芯片的基本結(jié)構(gòu)，由硅基超構(gòu)表面層和帶有微透鏡的CMOS圖像傳感器組成，超構(gòu)表面層包含了360 × 440個超構(gòu)表面單元，每個超構(gòu)表面單元對應(yīng)于成像空間中的一點，入射光經(jīng)過每個超構(gòu)表面單元的頻譜調(diào)制后被下方的傳感器像素所探測。任一點處的光譜可以由該點附近的若干個光強探測值重建得到，重建過程對應(yīng)于求解一個欠定線性方程組?，F(xiàn)有的光譜圖像重建算法需要通過逐點光譜重建來得到整個數(shù)據(jù)立方，存在計算耗時長和重建圖像存在馬賽克現(xiàn)象的問題。

圖1 超構(gòu)表面光譜成像芯片的結(jié)構(gòu)示意圖

由于不同的超構(gòu)表面單元具有不同的光譜調(diào)制特性，整個超構(gòu)表面光譜成像芯片在不同波長下具有不同的空間調(diào)制特性，因此本文受啟發(fā)于編碼孔徑快照式光譜成像算法，采用深度展開神經(jīng)網(wǎng)絡(luò)ADMM-net進行光譜圖像的快速重建，其基本架構(gòu)如圖2所示。網(wǎng)絡(luò)包含K=12個階段，每個階段都包含線性變換W(·)和降噪卷積神經(jīng)網(wǎng)絡(luò)（通常采用U-net結(jié)構(gòu)）兩部分。網(wǎng)絡(luò)的輸入是包含所有超構(gòu)表面單元光譜調(diào)制特性的傳感矩陣Φ和測量圖像y，輸出為重建的光譜圖像數(shù)據(jù)立方。

圖2 深度展開神經(jīng)網(wǎng)絡(luò)ADMM-net的基本架構(gòu)

圖3展示了利用超構(gòu)表面光譜成像芯片對標(biāo)準色卡進行實際成像測量后，采用不同算法重建數(shù)據(jù)立方的結(jié)果。從RGB偽彩色圖中可以看出，ADMM-net的圖像細節(jié)重建效果顯著優(yōu)于采用傳統(tǒng)的CVX算法進行逐點光譜重建的結(jié)果，有效消除了圖像的馬賽克現(xiàn)象。并且，相比于傳統(tǒng)迭代算法GAP-TV和端到端神經(jīng)網(wǎng)絡(luò)λ-net的重建結(jié)果，ADMM-net的光譜重建準確性也更優(yōu)。此外，采用ADMM-net進行單次重建僅需18毫秒，而逐點光譜重建則需要4854秒，本工作在重建速度上實現(xiàn)了約5個數(shù)量級的提升。

圖3 對標(biāo)準色卡進行實際成像測量后，利用不同算法進行光譜圖像重建的結(jié)果

進一步，本工作利用ADMM-net實現(xiàn)了對戶外駕駛場景的實時光譜成像，如圖4所示，光譜成像速率達到約36幀/秒。從RGB偽彩色圖中可見，車輛的色彩重建準確性較好；并且，從第20、100幀圖像中的采樣點A和B的重建光譜來看，天空和白色車輛的光譜具有明顯的差異，有望解決自動駕駛場景中的同色異譜識別問題，避免相撞事故的發(fā)生。此外，具有視頻幀率的高空間分辨快速光譜成像，也展示出實時光譜成像芯片在機器視覺領(lǐng)域的巨大應(yīng)用潛力。

圖4 戶外駕駛場景的實時光譜成像結(jié)果

編輯：黃飛