你見過最小的相機是多大，你見過的最小的3D深度傳感器又是多大？

根據(jù)哈佛大學工程和應用科學學院（SEAS）消息，該學院教授Federico Capasso帶領的研發(fā)小組研發(fā)出一款利用超透鏡（超薄的納米光子組件）的深度傳感器，其特點是可一次完成場景內所有深度信息測量，而且體積還很小巧，未來應用場景包括：微型機器人、侵入式醫(yī)療設備、小型穿戴設備、輕便型AR眼鏡/VR眼鏡等產(chǎn)品。

當前，該論文也已在美國國家科學院院刊上進行發(fā)表，下面我們就來一探究竟。

3D傳感器的進化

目前應用到3D和深度傳感器的產(chǎn)品有很多，包括微軟Xbox Kinect體感設備，其可識別人體動作從而實現(xiàn)各類的體驗游戲操作，主要是游戲娛樂方面；而最新的Azure Kinect DK也正式面向各種場景，包括醫(yī)療、超市、工業(yè)3D建模等眾多領域。

在更大型的汽車中也有更多的車型支持，尤其是在自動駕駛車輛中，3D攝像頭、LiDAR激光雷達等等，主要是用于車輛周圍環(huán)境的探測與感知。

最常見的還是在智能手機中，例如蘋果iphone X系列就是采用了3D結構光方案，安卓設備也有很多采用ToF方案，他們更注重要的還是用于3D化人臉識別的加密解密操作。

不過，現(xiàn)有的這些產(chǎn)品，以智能手機為例，其能提供較大容量的電池和較高算力的芯片，因此不用擔心功耗和性能不足等問題。

但對于那些對功率和算力都有限的設備來說，例如超小型機器人、或智能手表等產(chǎn)品。他們如何解決3D傳感器的這些限制呢？

哈佛物理系博士候選人、論文第一作者Zhujun Shi表示："當前的光學和視覺方案已經(jīng)種類繁多，他們基本上都是為不同的產(chǎn)品量身定制，而納米技術與光學設計結合，將有助于探索人造深度傳感器和視覺方案。

而這里提到的就是將超透鏡與超高效的算法相結合，即可一次完成深度測量。

受跳動的蜘蛛所啟發(fā)

人眼和多數(shù)深度傳感器獲得深度信息的方法是，將左右眼（或傳感器）同時拍攝的兩幅略有差異的圖像進行搜索對比，PS：可以將手指放在面前，交替睜開左右眼，這時你就有體會了吧。

因為需要將兩張圖片進行比對，這種方法實際還是很繁瑣的，人類有一個強大的大腦可以處理這些任務，但是蜘蛛?yún)s沒有。

經(jīng)研究發(fā)現(xiàn)，蜘蛛已經(jīng)進化出一個有效的深度感知系統(tǒng)，這能夠讓它們準確地跳躍到是自己身軀幾倍遠的地方，并對毫無戒備的目標發(fā)起攻擊。

從上圖了解到，如果蜘蛛用主眼注視著一個蒼蠅，這時只有主眼視網(wǎng)膜的圖像是清晰的，而另一只眼鏡視網(wǎng)膜上的圖像會顯得模糊，這種模糊變化的背后則直接隱藏著蜘蛛飛行距離的信息。

在計算機視覺系統(tǒng)中，類似這種深度計算方法被稱作：離焦深度測量法。

而目前，想要用現(xiàn)代設備復制這種方法也可以實現(xiàn)，但是需要大型光學攝像頭和電動機械組件，這樣攝像頭可以拍攝不同焦點的圖片，不過這也限制了傳感器的速度和實際應用場景。

而這就是超透鏡發(fā)揮優(yōu)勢的地方。

實驗室研究和結果

在實驗中，該研究小組嘗試將兩個具有不同深度焦距的離軸透鏡共同放到一個光圈中。

上圖即超透鏡設計方案，a表示傳輸效率和相移與納米柱寬度函數(shù)圖；b表示超透鏡俯視顯微鏡圖像，比例尺2um；c表示b圖中紅色標注區(qū)域放大，展示了空間復用方案效果以及不同顏色的顯示，比例尺500nm；d表示超透鏡輪廓的顯微鏡圖像，比利時：200nm。

基于此元件和現(xiàn)有的組件進行結合，從而構建出一個超透鏡深度傳感器原型，包括光學組件和機械組件的原型體積為4×4×10cm。當然這個體積算不上小，但由于超透鏡材料直徑僅3mm，如果采用專用光電傳感器則可大大降低整個傳感器原型的尺寸。

上圖a展示了不同距離下LED光源拍攝到的兩幅圖像模糊程度的變化，b是超透鏡傳感器深度作為物距的已知函數(shù)。

上圖為各種場景下的深度圖像展示，因為超透鏡一次拍攝的方案，因此這種方案可以拍攝快速移動的物理。a是移動的果蠅；b是動態(tài)的水柱；c是半透明類的效果，燭光（這類往往無法通過激光雷達或ToF測量）；d是印刷效果的文本的傾斜視角圖像，深度信息均勻。

上圖是位于不同位置的蠟燭，所展現(xiàn)出的深度圖像效果。

實驗室內采用了由英特爾i5-8500K處理器和NVIDIA Titan V顯卡夠成的計算機進行每秒100幀以上的速度生成400×400分辨率的深度圖像，而且通過優(yōu)化代碼和硬件部分，還可以進一步提升速度。綜合每個輸出的像素產(chǎn)生速度圖的值需要637 個FLOP，僅涉及25×25的周圍像素，對比來看常規(guī)的雙目立體算法有效輸出每個像素約需7000個FLOP，另外知名光流算法Lucas-Kanade則需要2500個FLOP。

最終，根據(jù)實驗室的一系列測試，超透鏡深度傳感器基本被初步證實具備：體積小、重量輕、算力需求小、單個組件等優(yōu)勢，未來這種將納米光子學和高效算法結合的深度測量方案有望應用在微瓦級這種昆蟲規(guī)模的平臺上，例如微型機器人、可食入人體的傳感設備等等。

? ? ? ?責任編輯：zl