3D視覺傳感方案技術(shù)介紹

深度傳感鏡頭作為智能手機(jī)創(chuàng)新模式，蘋果在最新版iPad Pro上搭載了D-ToF（直接飛行時(shí)間法）深度傳感鏡頭，推動(dòng)了3D視覺在消費(fèi)場(chǎng)景的應(yīng)用。

3D視覺傳感技術(shù)是一種深度傳感技術(shù)，除了對(duì)象的X和Y值之外，還可以記錄Z值。

3D坐標(biāo)系 主流的3D光學(xué)視覺方案：雙目立體視覺法（Stereo Vision，在下文稱雙目法），結(jié)構(gòu)光法（Structured Light，在下文稱結(jié)構(gòu)光）以及飛行時(shí)間法(Time of Flight, ToF在下文稱ToF）

2、雙目立體視覺法：tereo Vision

通過三角測(cè)量原理來計(jì)算圖像像素間的位置偏差（視差）來獲取物體的三維圖像，比如把一只手指放在鼻尖前方，左右眼看到手指會(huì)有一個(gè)錯(cuò)位的效果，這個(gè)位置差被稱為視差。相機(jī)所要拍攝的物體離相機(jī)越近，視差越大，離相機(jī)越遠(yuǎn)，視差就越小。通常采用兩個(gè)攝像機(jī)作為視覺信號(hào)的采集設(shè)備，通過雙輸入通道圖像采集卡與計(jì)算機(jī)連接，把攝像機(jī)采集到的模擬信號(hào)經(jīng)過采樣、濾波、強(qiáng)化、模數(shù)轉(zhuǎn)換，最終向計(jì)算機(jī)提供圖像數(shù)據(jù)。

極線約束

極線校正

雙目立體匹配原理及應(yīng)用

上世紀(jì)的60年代中期。美國(guó)MIT的Lawrence Roberts通過從數(shù)字圖像中提取立方體、楔形體和棱柱體等簡(jiǎn)單規(guī)則多面體的三維結(jié)構(gòu)，并對(duì)物體的形狀和空間關(guān)系進(jìn)行描述，把過去的簡(jiǎn)單二維圖像分析推廣到了復(fù)雜的三維場(chǎng)景，標(biāo)志著立體視覺技術(shù)的誕生。隨著研究的深入，研究的范圍從邊緣、角點(diǎn)等特征的提取，線條、平面、曲面等幾何要素的分析，直到對(duì)圖像明暗、紋理、運(yùn)動(dòng)和成像幾何等進(jìn)行分析，并建立起各種數(shù)據(jù)結(jié)構(gòu)和推理規(guī)則。特別是在1982年，David Marr首次將圖像處理、心理物理學(xué)、神經(jīng)生理學(xué)和臨床精神病學(xué)的研究成果從信息處理的角度進(jìn)行概括，創(chuàng)立了視覺計(jì)算理論框架。這一基本理論對(duì)立體視覺技術(shù)的發(fā)展產(chǎn)生了極大的推動(dòng)作用，在這一領(lǐng)域已形成了從圖像的獲取到最終的三維場(chǎng)景可視表面重構(gòu)的完整體系，使得立體視覺已成為計(jì)算機(jī)視覺中一個(gè)非常重要的分支。

完整的雙目立體視覺系統(tǒng)通常可分為數(shù)字圖像采集、相機(jī)標(biāo)定、圖像預(yù)處理與特征提取、圖像校正、立體匹配、三維重建六大部分。雙目立體成像法具有高3D成像分辨率、高精度、高抗強(qiáng)光干擾等優(yōu)勢(shì)，而且可以保持低成本。但是需要通過大量的CPU/ASIC演算取得它的深度和幅度信息其算法極為復(fù)雜較難實(shí)現(xiàn)，同時(shí)該技術(shù)易受環(huán)境因素干擾，對(duì)環(huán)境光照強(qiáng)度比較敏感，且比較依賴圖像本身的特征，因而拍攝暗光場(chǎng)景時(shí)表現(xiàn)差。

3、結(jié)構(gòu)光法（Structured Light）

近紅外激光器，將具有已知的結(jié)構(gòu)特征（比如離散光斑、條紋光、編碼結(jié)構(gòu)光等）的光線投射到被拍攝物體上，再由專門的紅外攝像頭進(jìn)行采集三維物體物理表面成像的畸變情況，再通過觀測(cè)圖案與原始圖案之前發(fā)生的形變由此來得到圖案上的各個(gè)像素的視差。這個(gè)技術(shù)通過光學(xué)手段獲取被拍攝物體的三維結(jié)構(gòu)，再將獲取到的信息進(jìn)行更深入的應(yīng)用。其工作原理可看作是另一種雙目法，紅外激光器和紅外攝像頭可當(dāng)做是雙目立體視覺法中的左右雙目的觀測(cè)原理。

微軟與以色列3D感測(cè)公司 PrimeSense合作發(fā)布了搭載結(jié)構(gòu)光模組的體感設(shè)備Kinect一代，2010年11月上市后，該產(chǎn)品成為 2011 年銷售最快的消費(fèi)電子設(shè)備。盡管產(chǎn)品大獲成功，但第一代 Kinect 的準(zhǔn)確度、圖像分辨率和響應(yīng)速度并不理想。2017年蘋果發(fā)布iPhone X，首次搭載 3D 結(jié)構(gòu)光模組，可實(shí)現(xiàn)3D人臉識(shí)別技術(shù)，成為蘋果近幾年最大的創(chuàng)新。主要結(jié)構(gòu)光方案廠商還有美國(guó)的英特爾、高通/Himax，以色列 Mantis Vision 以及國(guó)內(nèi)華為、奧比中光等公司。

結(jié)構(gòu)光的紅外激光器發(fā)射出了光，可以照亮被掃描物體，所以它不需要像雙目結(jié)構(gòu)一樣依賴于光源，而且在較平整，沒有圖案的物體表面也可以測(cè)算出物體的三維深度

4 飛行時(shí)間法介紹(Time of Flight)

飛行時(shí)間，通過給目標(biāo)連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光，通過探測(cè)這些發(fā)射和接收光脈沖的飛行（往返）時(shí)間來得到目標(biāo)物距離。傳感器通過計(jì)算光線發(fā)射和反射時(shí)間差或相位差，來?yè)Q算被拍攝景物的距離，以產(chǎn)生深度信息，此外再結(jié)合傳統(tǒng)的相機(jī)拍攝，就能將物體的三維輪廓以不同顏色代表不同距離的地形圖方式呈現(xiàn)出來。

2006 年 7 月，衍生自CSEM(瑞士電子與微技術(shù)中心)的 MESA Imaging公司成立，并推出商用ToF攝像頭產(chǎn)品系列 SwissRanger，最開始應(yīng)用于汽車的被動(dòng)安全檢測(cè)。ToF技術(shù)首次應(yīng)用到智能手機(jī)是在 2016 年，Google 和聯(lián)想合作推出了全球首個(gè)搭載ToF模組的智能手機(jī) Phab2 Pro，采用的是pmd/英飛凌的ToF方案，該手機(jī)可實(shí)現(xiàn)一些如三維測(cè)量等簡(jiǎn)易的 AR 應(yīng)用，但并沒有引起市場(chǎng)較大的反響。2018年8月6日,OPPO 在北京召開了ToF技術(shù)溝通會(huì), 并在8月23日發(fā)布了其首部搭載 ToF 攝像頭的智能手機(jī) OPPO R17 Pro,采用了 Sony 的解決方案。隨后在 2018 年 12 月，vivo 發(fā)布了其首部搭載 ToF 攝像頭的智能手機(jī) vivo NEX 雙屏版，采用了松下的解決方案; 華為發(fā)布了其首部搭載 ToF 攝像頭模組的智能手機(jī)榮耀 V20,采用的是 OPPO R17 Pro 相同的 ToF方案。進(jìn)入 2019 年后，安卓廠商紛紛加入 ToF 鏡頭的陣營(yíng)。

它包含幾個(gè)構(gòu)建塊:(a)脈沖/調(diào)制光源（在ToF中一般使用VCSEL，請(qǐng)見下文解釋）(b)光學(xué)擴(kuò)散片將光擴(kuò)散傳播出去,接著當(dāng)光從物體上反射回來時(shí)，用(c)一組透鏡收集從物體上折射回來的光。接著經(jīng)過一個(gè)濾光片將折射回來的光收集起來并且適當(dāng)?shù)卣{(diào)整光源的波長(zhǎng)，接著通過改善背景噪聲抑制令光波可被芯片所識(shí)別。最后,測(cè)量系統(tǒng)的核心是由固態(tài)量程圖像傳感器(d)，由一組光探測(cè)器（像素）組成，能夠直接或間接地測(cè)量光脈沖從光源到目標(biāo)并返回傳感器所需的飛行時(shí)間。該系統(tǒng)還需要一個(gè)合適的傳感器接口，為傳感器提供電源、所需的偏置電壓/電流信號(hào)、數(shù)字控制相位，并從傳感器讀取數(shù)據(jù)流，這通常需要進(jìn)一步的小處理以獲得3D體積數(shù)據(jù)。最后，傳感器接口負(fù)責(zé)與外部（到PC或處理單元）的通信。

ToF 技術(shù)具有以下的優(yōu)點(diǎn)：1、軟件復(fù)雜性低，設(shè)計(jì)與應(yīng)用簡(jiǎn)單 2、在暗光與強(qiáng)光環(huán)境下表現(xiàn)不錯(cuò) 3、功耗不高 4、有較遠(yuǎn)的探測(cè)距離 5、成本低 6、響應(yīng)速度快，缺點(diǎn)則在于室外受自然光紅外線影響大、遠(yuǎn)距離無法保證精度。

D-ToF 在經(jīng)典的飛行時(shí)間測(cè)量中，直接飛行時(shí)間（Direct ToF，D-ToF，下文稱為D-ToF）的原理比較直接，即直接發(fā)射一個(gè)光脈沖，之后測(cè)量反射光脈沖和發(fā)射光脈沖之間的時(shí)間間隔，就可以得到光的飛行時(shí)間。探測(cè)器系統(tǒng)在發(fā)射光脈沖產(chǎn)生的同時(shí)啟動(dòng)一個(gè)高精度的秒表。當(dāng)探測(cè)到目標(biāo)發(fā)出的光回波時(shí)，秒表停止并直接存儲(chǔ)往返時(shí)間。目標(biāo)距離z可通過以下簡(jiǎn)單方程估算：

其中

表示光在空氣中傳播的速度。D-ToF通常用于單點(diǎn)測(cè)距系統(tǒng)，但由于像素級(jí)亞納秒電子秒表的實(shí)現(xiàn)困難，D-ToF的成本以及技術(shù)難度相較于I-ToF更高。這項(xiàng)技術(shù)特別適用于基于SPAD的ToF系統(tǒng)。目前主流的主流的ToF技術(shù)所采用的SPAD（single- photon avalanche diode，單光子雪崩二極管）是一種高靈敏度的半導(dǎo)體光電檢測(cè)器，其被廣泛運(yùn)用于弱光信號(hào)檢測(cè)領(lǐng)域。結(jié)合D-ToF技術(shù)，可用來精確檢測(cè)記錄光子的時(shí)間和空間信息，繼而通過三維重極算法進(jìn)行場(chǎng)景的三維重構(gòu)。蘋果在2020年發(fā)布的第四代iPad Pro中就運(yùn)用到了D-ToF技術(shù)。D-ToF的原理看起來雖然很簡(jiǎn)單，但是實(shí)際能達(dá)到較高的精度很困難而且成本對(duì)比I-ToF要高很多。除了對(duì)時(shí)鐘同步有非常高的精度要求以外，還對(duì)脈沖信號(hào)的精度有很高的要求。普通的光電二極管難以滿足這樣的需求。而D-ToF中的核心組件SPAD由于制作工藝復(fù)雜，能勝任生產(chǎn)任務(wù)的廠家并不多，并且集成困難。所以目前研究D-ToF的廠家并不多，更多的是在研究和推動(dòng)I-ToF。

I-ToF(Indirect ToF，I-ToF，下文稱為I-ToF) D-ToF的另一種解決方案是所謂的間接ToF（Indirect ToF，I-ToF，下文稱為I-ToF），而I-ToF的原理則要復(fù)雜一些。在I-ToF中，發(fā)射的并非一個(gè)光脈沖，而是調(diào)制過的光。接收到的反射調(diào)制光和發(fā)射的調(diào)制光之間存在一個(gè)相位差，通過檢測(cè)該相位差就能測(cè)量出飛行時(shí)間，從而估計(jì)出距離。其中往返行程時(shí)間是從光強(qiáng)度的時(shí)間選通測(cè)量中間接外推的。在這種情況下，不需要精確的秒表，而是需要時(shí)間選通光子計(jì)數(shù)器或電荷積分器，它們可以在像素級(jí)實(shí)現(xiàn)，只需較少的計(jì)算工作和硅面積。I-ToF是基于ToF相機(jī)的電子和照片混合設(shè)備的自然解決方案。

1、ToF產(chǎn)業(yè)鏈介紹 3D傳感產(chǎn)業(yè)生態(tài)鏈包括光源、光學(xué)單元（透鏡及濾光片等）、圖像傳感器及模組制造等直接硬件環(huán)節(jié)，此外還包括軟件、處理器、3D系統(tǒng)設(shè)計(jì)等。

2、ToF鏡頭組成核心硬件

VCSEL 是 3D Sensing 中重要的部件之一，不僅體現(xiàn)在其功能在體現(xiàn)在其價(jià)值量之中。隨著 3D Sensing 在手機(jī)中進(jìn)一步滲透，VCSEL 的市場(chǎng)規(guī)模將隨之?dāng)U大。ToF不僅可以在手機(jī)中使用，還可以在光通訊、激光雷達(dá)等多個(gè)領(lǐng)域中使用，市場(chǎng)空間巨大。據(jù)市場(chǎng)研究機(jī)構(gòu) Yole 預(yù)測(cè)，到 2023 年，整個(gè) VCSEL 市場(chǎng)將達(dá)到 35 億美元，年復(fù)合增長(zhǎng)率達(dá)到 48%。VCSEL 領(lǐng)域具有市場(chǎng)大、增長(zhǎng)快、應(yīng)用廣等特點(diǎn)，未來對(duì) VCSEL 的關(guān)注度將會(huì)日漸提升。從圖中可看出未來在VCSEL賽道，主要集中的領(lǐng)域是消費(fèi)電子、工業(yè)領(lǐng)域以及通信。VCSEL 是化合物半導(dǎo)體激光器，因此對(duì)應(yīng)化合物半導(dǎo)體產(chǎn)業(yè)鏈，包括晶圓、外延片(EPI)、IC 設(shè)計(jì)、晶圓代工和封測(cè)等環(huán)節(jié)。

準(zhǔn)直鏡頭 利用光的折射原理，將波瓣較寬的衍射圖案校準(zhǔn)匯聚為窄波瓣的近似平行光。采用準(zhǔn)直鏡頭對(duì) VCSEL 出射光束進(jìn)行準(zhǔn)直、形成散斑等整形處理。WLO（Wafer-level Optics，在下文稱為WLO）晶圓級(jí)光學(xué)器件，是指晶圓級(jí)鏡頭制造技術(shù)和工藝。與傳統(tǒng)光學(xué)器件的加工技術(shù)不同，WLO工藝在整片玻璃晶圓上，用半導(dǎo)體工藝批量復(fù)制加工鏡頭，多個(gè)鏡頭晶圓壓合在一起，然后切割成單顆鏡頭，具有尺寸小、高度低、一致性好等特點(diǎn)。

DOE擴(kuò)散片 DOE衍射光學(xué)元件（Diffractive Optical Elements，在下文稱為DOE）在3D攝像頭結(jié)構(gòu)光方案中的作用就是利用光的衍射原理，將激光器的點(diǎn)光源轉(zhuǎn)換為散斑圖案（pattern）。首先根據(jù)特定衍射圖像的光學(xué)需求，設(shè)計(jì)并制作出三維母模，然后根據(jù)母模再制作出DOE光柵，光柵表面具有三維的微結(jié)構(gòu)圖案，尺寸都在微米級(jí)別。激光器發(fā)射的線性激光通過DOE的時(shí)候發(fā)生衍射，衍射光的角度和數(shù)量是受DOE上pattern的控制，衍射出來的光斑具備lighting code信息。DOE主要是用于結(jié)構(gòu)光成像技術(shù)的攝像頭中，DOE的制造成本相對(duì)較高。

發(fā)光單元 ToF鏡頭的發(fā)光單元通常為能發(fā)出特定波長(zhǎng)紅外線的垂直腔面發(fā)射激光器（Vertical-Cavity Surface-Emitting Laser，又譯垂直共振腔面射型激光，在下文稱VCSEL），VCSEL能以相對(duì)較小功率發(fā)射出較高的信號(hào)。VCSEL是一種半導(dǎo)體，其激光垂直于頂面射出，與一般用切開的獨(dú)立芯片制成，激光由邊緣射出的邊射型激光有所不同。傳統(tǒng)的光電轉(zhuǎn)換技術(shù)一般是用的LED等發(fā)光器件，這種發(fā)光器多采用的是邊緣發(fā)射，缺點(diǎn)是體積較大，所以會(huì)比較難于半導(dǎo)體技術(shù)相結(jié)合。20世紀(jì)90年代垂直腔表面發(fā)射激光VCSEL技術(shù)成熟后，解決了發(fā)光器件和半導(dǎo)體技術(shù)結(jié)合的問題，因此迅速得到普及。VCSEL是很有發(fā)展前景的新型光電器件，也是光通信中革命性的光發(fā)射器件。此外，ToF中泛光照明器的VCSEL輸出光束無需經(jīng)過編碼，因此器件制作上更為簡(jiǎn)單，可供選擇的 VCSEL 供應(yīng)商也更多。顧名思義，邊發(fā)射激光器是沿平行于襯底表面、垂直于解理面的方向出射，而面發(fā)射激光器其出光方向垂直于襯底表面，如下圖：

在ToF的發(fā)射成像技術(shù)中主要運(yùn)用的是擴(kuò)散板（在下文稱為Diffuser），主要是為顯示器提供一個(gè)均勻的面光源，ToF投射器主要包括VCSEL + Diffuser，而ToF的VCSEL并不像結(jié)構(gòu)光那樣對(duì)編碼圖案有一定要求，只是最常規(guī)的規(guī)則排列，器件制作上更為簡(jiǎn)單，裝配精度要求也更低。Diffuser是DOE的一種，也屬于波束整形器，用于對(duì)輸入光束進(jìn)行均一化，通過使較大折射角處具有更大屈光度，使得較窄的光束擴(kuò)展到更寬的角度范圍內(nèi)，并具備均勻的照明場(chǎng)。TOF 中的 Diffuser 的設(shè)計(jì)制作難度，比 3D 結(jié)構(gòu)光點(diǎn)陣投影儀中的 DOE 要簡(jiǎn)單很多。

根據(jù)光大證券測(cè)算，考慮到疫情影響預(yù)計(jì)2020年全球智能機(jī)出貨量有所下降，滯后的 5G 需求有望在2021年釋放，預(yù)計(jì) 20~21 年全球智能機(jī)出貨量分別為 12.6/15.0 億部，其中 iphone 出貨量 1.7/2.1 億部，安卓機(jī) 10.9/12.9 億部。假設(shè) 20~21 年前置結(jié)構(gòu)光在 iphone 的滲透率分別為92%/95%，在安卓的滲透2%/5%，推算結(jié)構(gòu)光攝像頭出貨量 1.8/2.7 億顆。假設(shè) 20~21 年后置 TOF 在 iphone 的滲透率分別為 25%/50%，在安卓的滲透率 7%/15%，加上 ipad 出貨量，推算后置 TOF 攝像頭出貨量 2.7/4.4 億顆。假定DOE/Diffuser單價(jià)1美元測(cè)算，對(duì)應(yīng)DOE 20~21年市場(chǎng)規(guī)模1.8/2.7億美元;Diffuser市場(chǎng)規(guī)模 2.7/4.4 億美元;窄帶濾光片按 20~21 年單價(jià) 1/0.75 美元測(cè)算，對(duì)應(yīng)市場(chǎng)規(guī)模 9/10.5 億美元。

接收端 窄帶濾光片和光學(xué)鏡頭：

ToF模組依靠窄帶濾光片和光學(xué)鏡頭來收集反射回的光線。濾光片只允許對(duì)應(yīng)波長(zhǎng)的紅外線通過，抑制其他光線，并降低噪聲。近紅外識(shí)別系統(tǒng)中所用到的窄帶濾光片及超薄高性能鍍膜也是基于結(jié)構(gòu)光及ToF的3D攝像頭技術(shù)關(guān)鍵。3D攝像頭在接收反射光時(shí)要求只有特定波長(zhǎng)的光線能夠穿過鏡頭，攔截頻率帶之外的光線，即隔離干擾光、通過信號(hào)光凸顯有用信息，因此需要濾光片在接收端過濾掉非工作波段的光波。

在窄帶濾光片賽道，難度和價(jià)值量都高于傳統(tǒng)攝像頭所用的濾光片，目前僅有 VIAVI 和水晶光電的技術(shù)較為成熟，這兩家也是蘋果iPhone X的窄帶濾光片供應(yīng)商。目前全球僅水晶光電和唯亞威(Viavi)兩家企業(yè)具備大批量供貨的能力。

接收端：紅外CIS（下文稱為圖像傳感器）：

早年的ToF傳感器，多采用CCD(Charge-coupled Device，中文為電荷耦合元件，是一種圖像傳感器，下面簡(jiǎn)稱CCD),而CMOS是另一種目前市場(chǎng)上更為主流的圖像傳感器(Complementary Metal Oxide Semiconductor，互補(bǔ)金屬氧化物半導(dǎo)體，在下文簡(jiǎn)稱CMOS)。CCD的感光利用率更高，但是功耗十分大，發(fā)熱嚴(yán)重，也是此前ToF方案未能應(yīng)用在手機(jī)中的原因之一。隨著圖像傳感器廠商不斷提高CMOS傳感器的技術(shù)，通過背照式(Backside Illumination，在下文簡(jiǎn)稱BIS)設(shè)計(jì)、電流輔助光子演示(CPAD)技術(shù)，并將高速率多幀圖像合成單張圖像用以計(jì)算最終的深度，在降低圖像噪聲的同時(shí)降低了功耗，從而使ToF應(yīng)用于手機(jī)成為可能，但對(duì)應(yīng)的ToF傳感器芯片成本也高出很多。

CMOS圖像傳感器市場(chǎng)集中度較高，2017年，前十大廠商市場(chǎng)份額合為94%，其中前三家廠商索尼（Sony）、三星（Samsung）、豪威科（Omnivision）市場(chǎng)份額合計(jì)占比達(dá)73%，CR3較2014年的63%有明顯提升。從CIS市場(chǎng)增速來看，根據(jù)IC Insights2018年預(yù)測(cè)，2017-2022年銷售額CAGR為8.8%，銷售量CAGR為11.7%；根據(jù)Yole2018年預(yù)測(cè)，2017-2023年銷售額CAGR為9.4%，而該機(jī)構(gòu)最新預(yù)測(cè)顯示，受到新冠肺炎疫情影響，2020年增速將回落至7%，2021年略有反彈（增速為12%），預(yù)計(jì)2025年CIS市場(chǎng)規(guī)模將達(dá)到280億美元。

未來可能是sensor市場(chǎng)的一個(gè)驅(qū)動(dòng)引擎，可以應(yīng)用在自動(dòng)駕駛、醫(yī)療檢測(cè)和物體識(shí)別等多種新興領(lǐng)域。未來幾年，ToF技術(shù)將在終端迎來高速增長(zhǎng)。隨著ToF技術(shù)的不斷成熟和應(yīng)用場(chǎng)景的不斷豐富，手機(jī)攝像頭、手勢(shì)交互UI（用戶界面）、汽車電子ADAS、安防監(jiān)控等多個(gè)領(lǐng)域，對(duì)ToF深度傳感器的數(shù)量需求都將大幅增長(zhǎng)。

編輯：黃飛

?