近日，來自浙江大學光電學院郝翔研究員團隊以"SpectralImaging with Deep Learning"為題在Light: Science & Applications發(fā)表綜述論文，對基于深度學習的光譜成像技術進行了梳理，對其各種技術路線進行了原理闡述、研究總結(jié)，并整理了當前的光譜成像數(shù)據(jù)集，概述了可能的未來趨勢與挑戰(zhàn)。

一、光譜圖像

我們平常在顯示屏中看到的圖像是RGB三色圖像，它擁有紅綠藍三個通道，即每個像素的顏色由紅綠藍三種顏色疊加形成。如果把三色圖像拓展，變成十色、百色、千色，那么我們對圖像色彩的控制與渲染將無比精細。擁有這么多波段的圖像便是光譜圖像：它有不只三個波段，可以是三十個、甚至上百個。

物質(zhì)的光譜信息可以充分反映其內(nèi)部的物理結(jié)構和化學成分，當圖像的波段足夠多時，每一處都是一條光譜曲線——反映著該處的結(jié)構組成。因此光譜圖像不僅反映成像目標的空間特征，還蘊含著其結(jié)構、成分特征。因此，除了進行精細的圖像渲染外，光譜圖像的關鍵應用在于物質(zhì)成分分析，廣泛應用于遙感、醫(yī)學檢測、食品檢測等領域。

二、光譜成像

光譜成像是成像技術和光譜探測技術的結(jié)合，主要技術目標是獲取光譜圖像。傳統(tǒng)的光譜成像技術是掃描式的（包括點掃描、線掃描、波段掃描），通過不斷移動光譜儀獲得每個點的光譜，最終得到一個二維圖像。這種掃描式的光譜成像系統(tǒng)體積龐大且速度很慢，飽受詬病。

圖2掃描式光譜成像（從左到右依次為點掃描、先掃描、波段掃描）

隨著計算光學的發(fā)展，計算光譜成像成為了新的光譜成像方法。該方法通過某些編碼，使得隱藏在背后的光譜信息以某種方式進入探測器，最終利用優(yōu)化算法對光譜圖像進行重建。傳統(tǒng)的計算光譜成像方法是迭代式的，雖然相比掃描式光譜成像，已經(jīng)有效減小了系統(tǒng)體積，但是該類方法有著極大的計算負擔，常常需要迭代數(shù)分鐘甚至數(shù)小時，且重建準確度較為一般。

巨大的數(shù)據(jù)計算負擔，促使人們思考和尋找更有效的光譜重建算法。近年來，深度學習快速發(fā)展，深度神經(jīng)網(wǎng)絡經(jīng)過良好訓練后強大的模式識別和特征提取能力，得到了光譜成像研究人員們的青睞。深度學習方法成為了人們的探索對象，深度學習逐漸賦能光譜成像。

三、深度學習方法

計算光譜成像的過程編碼采樣系統(tǒng)設計和光譜圖像重建，深度學習技術可以應用在該過程中的每一個方面。如何對這些不同的技術進行有效分類，是一個關鍵問題。綜述提出根據(jù)光的屬性進行分類，即將計算光譜成像系統(tǒng)按照編碼方式的不同，分成了振幅編碼、相位編碼和波長編碼。

（1）振幅編碼光譜成像

圖3 編碼孔徑系統(tǒng)中的光譜編碼過程

振幅編碼光譜成像是通過編碼孔徑系統(tǒng)（CASSI）進行的，利用編碼孔徑（振幅掩模）和光柵元件對物體進行編碼，進而通過壓縮感知恢復算法進行光譜重建。基于深度學習的振幅編碼光譜成像將壓縮感知恢復的迭代算法替換為深度神經(jīng)網(wǎng)絡，通過編解碼協(xié)同優(yōu)化、迭代展開神經(jīng)網(wǎng)絡、非訓練網(wǎng)絡等方法進行高效光譜重建。

（2）相位編碼光譜成像

圖4 一種相位編碼光譜成像系統(tǒng)

相位編碼光譜成像通過衍射光學元件（Diffraction Optical Element, DOE）進行，通過設計DOE的二維高度輪廓實現(xiàn)對不同位置的特定相位延遲，從而實現(xiàn)相位編碼。相位編碼經(jīng)過菲涅爾衍射影響到不同光譜成分，然后通過對衍射過程進行建模，即可通過算法對原光譜圖像進行重建。由于相位編碼后衍射計算的復雜性，傳統(tǒng)的迭代算法難以對光譜圖像實現(xiàn)有效恢復，這一問題在深度學習出現(xiàn)后得到了一定的解決，目前相位編碼的光譜恢復主要通過深度神經(jīng)網(wǎng)絡進行。相比振幅編碼，相位編碼光譜成像擁有光能損失小、系統(tǒng)緊湊等優(yōu)點。

（3）波長編碼光譜成像

波長編碼光譜成像則是直接在光譜維度對圖像進行編碼，可以通過光學濾光片進行。RGB圖像就可以看成一種光譜編碼。目前主流的波長編碼方式有利用現(xiàn)有的RGB或設計光學濾光片，而編碼后的光譜重建則多借助深度學習技術。

基于RGB圖像的直接光譜重建是非?；馃岬姆较颉ｋS著NTIRE 2018和NTIRE 2020光譜重建比賽的召開，許多深度學習技術團隊參與進來，大大拓展了現(xiàn)有的深度學習光譜恢復技術。研究人員對深度學習參與的RGB光譜重建和濾光片設計光譜重建進行了分析，將重建方式分為點重建和塊重建，以此對每種重建方式進行了介紹。

圖5 本課題組提出的編解碼協(xié)同設計光譜成像技術[1][2]圖源：Advanced Theory and Simulations

基于自定義光學濾光片的波長編碼是近年來新興的光譜成像技術。通過設計寬譜濾光片，可以獲得比RGB濾光片更大的編碼自由度。再結(jié)合有效的深度學習技術，可以實現(xiàn)緊湊、快速、準確的光譜恢復。

四、未來展望

研究人員根據(jù)目前的深度學習技術和光譜成像技術，對基于深度學習的光譜成像的未來發(fā)展方向提出了一些建議。其中包括數(shù)據(jù)集的大型化和規(guī)范化、大型神經(jīng)網(wǎng)絡的使用（例如Transformer）、引入物體類別等額外信息、解決編解碼協(xié)同設計過程中的梯度消失問題、使用神經(jīng)網(wǎng)絡架構搜索技術等。

審核編輯 ：李倩