來自普林斯頓和華盛頓大學(xué)的一組研究人員創(chuàng)造了一種新的照相機(jī)，捕捉到的圖像和測量結(jié)果只有一個(gè)粗粒鹽大小的半毫米。

發(fā)表在 Nature Communications， 上的新的 研究 概述了使用光學(xué)超表面和機(jī)器學(xué)習(xí)來產(chǎn)生高質(zhì)量的彩色圖像，具有廣闊的視野。該設(shè)備可用于從機(jī)器人到醫(yī)療領(lǐng)域的各個(gè)行業(yè)，以幫助疾病診斷。

光學(xué)超表面依賴于一種新的光操縱方法，使用設(shè)置在小正方形表面上的圓柱柱。這些柱子的幾何形狀不同，其工作原理類似于天線，可以捕獲入射光子（電磁輻射波）。然后，這些波作為信號從元表面發(fā)送到計(jì)算機(jī)，以解釋并生成圖像。

圖 1 傳統(tǒng)透鏡與神經(jīng)納米光學(xué)的比較。由普林斯頓計(jì)算成像實(shí)驗(yàn)室提供。

微型攝像機(jī)在醫(yī)學(xué)上有著巨大的應(yīng)用潛力，從腦成像到微創(chuàng)內(nèi)窺鏡。但是，到目前為止，這項(xiàng)技術(shù)已經(jīng)用有限的視野捕捉到模糊、扭曲的圖像。

研究人員采用神經(jīng)納米光學(xué)技術(shù)，將光學(xué)超表面與基于神經(jīng)特征的圖像重建相結(jié)合，以解釋數(shù)據(jù)并生成更高質(zhì)量的圖像。

“為了從測量數(shù)據(jù)中恢復(fù)圖像，我們提出了一種基于特征的反卷積方法，該方法采用可微逆濾波器和神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取和細(xì)化，”資深作者、普林斯頓大學(xué)計(jì)算機(jī)科學(xué)助理教授 Felix Heide 說。

該團(tuán)隊(duì)使用模擬器測試了機(jī)器學(xué)習(xí)算法，比較了天線的不同配置。由于光學(xué)表面上有 160 萬個(gè)圓柱體和復(fù)雜的光相互作用，模擬需要大量內(nèi)存。

使用 cuDNN – 加速 TensorFlow 深度學(xué)習(xí)框架和 查看 P100 GPU 對算法進(jìn)行測試和訓(xùn)練。結(jié)果是一個(gè)新的系統(tǒng)能夠從一個(gè)小 50 萬倍的設(shè)備上產(chǎn)生與現(xiàn)代相機(jī)鏡頭相當(dāng)?shù)膱D像。根據(jù)這項(xiàng)研究，這種新相機(jī)在過濾錯(cuò)誤方面也比以前的技術(shù)好 10 倍。

計(jì)算機(jī)科學(xué)博士 Ethan Tseng 說：“設(shè)計(jì)和配置這些微小的微結(jié)構(gòu)以滿足您的需求是一個(gè)挑戰(zhàn)?！?。普林斯頓大學(xué)的學(xué)生和該研究的共同負(fù)責(zé)人在 press release 中說?！皩τ谶@個(gè)拍攝大視場 RGB 圖像的特殊任務(wù)來說，這是一個(gè)挑戰(zhàn)，因?yàn)橛袛?shù)以百萬計(jì)的小微結(jié)構(gòu)，而且不清楚如何以最佳方式設(shè)計(jì)它們。”

該團(tuán)隊(duì)目前正在努力為相機(jī)增加更多的計(jì)算能力，并在未來的迭代中設(shè)想目標(biāo)檢測和醫(yī)學(xué)或機(jī)器人傳感器等功能。除此之外，他們還看到了一個(gè)超小型成像儀將表面變成傳感器的用例。

Heide 說：“我們可以將單個(gè)表面變成超高分辨率的攝像頭。這樣，你就不再需要在手機(jī)背面安裝三個(gè)攝像頭，但整個(gè)手機(jī)背面將變成一個(gè)巨大的攝像頭。我們可以在未來想出完全不同的方式來構(gòu)建設(shè)備。”。

關(guān)于作者

Michelle Horton 是 NVIDIA 的高級開發(fā)人員通信經(jīng)理，擁有通信經(jīng)理和科學(xué)作家的背景。她在 NVIDIA 為開發(fā)者博客撰文，重點(diǎn)介紹了開發(fā)者使用 NVIDIA 技術(shù)的多種方式。

審核編輯：郭婷