日前，北京理工大學光電學院王涌天教授、劉越教授團隊成員徐怡博教授與來自谷歌公司和美國萊斯大學研究人員合作，開發(fā)了一種具有優(yōu)異壓縮比和吞吐量的基于單像素光電探測器的高光譜視頻成像系統(tǒng)，成果發(fā)表于Nature Communications 15, 1456 (2024)。徐怡博教授為論文第一作者兼通訊作者，谷歌公司陸李陽博士、萊斯大學Saragadam 博士和Kevin Kelly博士也對此工作做出了貢獻。

高光譜視頻成像捕獲場景的精細空間、光譜和時間信息，在生物熒光成像、遙感、監(jiān)控、自動駕駛等領(lǐng)域中具有廣泛應用。高光譜視頻數(shù)據(jù)量極大，現(xiàn)有方法記錄高維數(shù)據(jù)時占用大量傳輸帶寬和存儲空間，給無人機、手機、行星探測器和衛(wèi)星等資源受限系統(tǒng)帶來巨大壓力。如何在保留信息的前提下最大限度減少采樣數(shù)據(jù)量、大幅提升采樣壓縮比是高光譜視頻成像中的關(guān)鍵問題。

該研究利用四維高光譜視頻的高度可壓縮性，設(shè)計一種空間-光譜聯(lián)合編碼方案，提出基于四維空間信號稀疏度模型的優(yōu)化重建和深度學習重建方法，實現(xiàn)了基于單像素探測器、可在低帶寬下實現(xiàn)高通量的高光譜視頻成像系統(tǒng)。如圖1，優(yōu)化重建方法先從包含互補圖案的原始測量中重建灰度視頻并提取光流，然后通過光流輔助四維全變分正則化優(yōu)化方法實現(xiàn)高光譜視頻重建。

圖1 光流輔助四維全變分正則化高光譜視頻重建過程示意圖與流程圖

實驗中重建視頻空間大小為128 × 128，具有64個光譜頻道，幀率約4幀/秒，壓縮比約為900:1。圖2展示從重建的高光譜頻幀中均勻選取16幀并轉(zhuǎn)換為人工RGB圖像，與彩色相機記錄的畫面對比，可見實現(xiàn)了高精度的重建。

圖2 單像素成像實驗優(yōu)化算法重建結(jié)果

如圖3，深度學習重建方法由兩個階段組成。先基于長短期記憶(LSTM)網(wǎng)絡(luò)的模型利用5個相鄰幀之間的時間相關(guān)性，從“結(jié)構(gòu)化隨機”編碼測量中重建灰度視頻。再基于殘差連接的卷積神經(jīng)網(wǎng)絡(luò)(CNN)的高光譜重建網(wǎng)絡(luò)，從深度空間-光譜聯(lián)合壓縮測量值及第一階段的灰度視頻中恢復高光譜幀。

圖3 高光譜視頻重建的深度學習方法示意圖

如表1所示，對比基于兩種方法重建高光譜幀的時間，可見深度學習方法在重建速度上有顯著的提升。

表1 基于四維全變分的優(yōu)化方法和深度學習方法的重構(gòu)時間

論文鏈接：

https://www.nature.com/articles/s41467-024-45856-1