研究人員利用深度學(xué)習(xí)技術(shù)提高了直接集成在 CMOS 成像芯片上的超透鏡相機(jī)(左)的圖像質(zhì)量。超透鏡利用 1000 納米高的圓柱形氮化硅納米柱陣列(右圖)操縱光線。

研究人員利用深度學(xué)習(xí)技術(shù)提高了超透鏡相機(jī)的圖像質(zhì)量。這種新方法利用人工智能將低質(zhì)量圖像轉(zhuǎn)化為高質(zhì)量圖像，從而使這些相機(jī)可以用于多種成像任務(wù)，包括復(fù)雜的顯微鏡應(yīng)用和移動設(shè)備。

超透鏡是一種超薄光學(xué)器件，通常只有幾毫米厚--利用納米結(jié)構(gòu)來操縱光線。雖然它們的小尺寸有可能使相機(jī)變得非常緊湊和輕便，而無需傳統(tǒng)的光學(xué)鏡片，但使用這些光學(xué)元件一直很難達(dá)到必要的圖像質(zhì)量。

來自中國東南大學(xué)的研究團(tuán)隊負(fù)責(zé)人Ji Chen說：“我們的技術(shù)使我們基于超透鏡的設(shè)備能夠克服圖像質(zhì)量的限制。這一進(jìn)步將在未來高便攜性消費(fèi)成像電子產(chǎn)品的發(fā)展中發(fā)揮重要作用，也可用于顯微鏡等專業(yè)成像應(yīng)用?！?/p>

在《光學(xué)快報》(Optics Letters)雜志上，研究人員介紹了他們?nèi)绾问褂靡环N被稱為多尺度卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)，來改善小型相機(jī)(約 3 厘米×3 厘米×0.5 厘米)圖像的分辨率、對比度和失真度。

Chen說："超透鏡集成相機(jī)可以直接集成到智能手機(jī)的成像模塊中，取代傳統(tǒng)的折射體透鏡。"它們還可用于無人機(jī)等設(shè)備，體積小、重量輕的攝像頭既能保證成像質(zhì)量，又不會影響無人機(jī)的機(jī)動性。"

提高圖像質(zhì)量

新工作中使用的相機(jī)是研究人員之前開發(fā)的，它使用了一種帶有1000納米高的圓柱形氮化硅納米柱的超透鏡(metalens)。超透鏡可將光線直接聚焦到 CMOS 成像傳感器上，而無需其他光學(xué)元件。

雖然這種設(shè)計創(chuàng)造出了一個非常小的攝像頭，但緊湊的結(jié)構(gòu)卻限制了圖像質(zhì)量。因此，研究人員決定看看能否利用機(jī)器學(xué)習(xí)來改善圖像。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種，它使用多層人工神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)數(shù)據(jù)特征，并做出復(fù)雜的決策或預(yù)測。研究人員采用這種方法，使用卷積成像模型生成大量高質(zhì)量和低質(zhì)量的圖像對。這些圖像對被用來訓(xùn)練多尺度卷積神經(jīng)網(wǎng)絡(luò)，使其能夠識別每種類型圖像的特征，并利用這些特征將低質(zhì)量圖像轉(zhuǎn)化為高質(zhì)量圖像。

Chen說：“這項工作的一個關(guān)鍵部分是開發(fā)一種方法，生成神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程所需的大量訓(xùn)練數(shù)據(jù)。一旦訓(xùn)練完成，低質(zhì)量圖像就可以從設(shè)備發(fā)送到神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，并立即獲得高質(zhì)量的成像結(jié)果?！?/p>

圖片顯示了四幅測試圖像的地面實(shí)況、低質(zhì)量圖像和神經(jīng)網(wǎng)絡(luò)輸出結(jié)果的對比。第一行代表模擬結(jié)果，第二行代表實(shí)驗結(jié)果。藍(lán)色、紅色和黃色方框表示圖像中的細(xì)節(jié)特寫。

應(yīng)用神經(jīng)網(wǎng)絡(luò)

為了驗證新的深度學(xué)習(xí)技術(shù)，研究人員將其用于 100 張測試圖像。他們分析了兩個常用的圖像處理指標(biāo)：峰值信噪比和結(jié)構(gòu)相似性指數(shù)。

他們發(fā)現(xiàn)，經(jīng)過神經(jīng)網(wǎng)絡(luò)處理的圖像在這兩個指標(biāo)上都有顯著改善。他們還表明，這種方法可以快速生成高質(zhì)量的成像數(shù)據(jù)，這些數(shù)據(jù)與通過實(shí)驗直接捕捉到的數(shù)據(jù)非常相似。

研究人員目前正在設(shè)計具有復(fù)雜功能的超透鏡，如彩色或廣角成像，并開發(fā)神經(jīng)網(wǎng)絡(luò)方法來提高這些先進(jìn)超透鏡的成像質(zhì)量。要使這項技術(shù)實(shí)用于商業(yè)應(yīng)用，需要采用新的組裝技術(shù)，將超透鏡集成到智能手機(jī)成像模塊中，還需要專門為手機(jī)設(shè)計的圖像質(zhì)量增強(qiáng)軟件。

Chen說：“超輕超薄的超透鏡是未來成像和檢測的革命性技術(shù)。利用深度學(xué)習(xí)技術(shù)優(yōu)化超透鏡性能標(biāo)志著一個關(guān)鍵的發(fā)展軌跡。我們預(yù)見機(jī)器學(xué)習(xí)是推動光子學(xué)研究的重要趨勢。”

審核編輯 黃宇