? ? ? ? ?所有的ARVR產(chǎn)品，都必須要具備精確的空間監(jiān)測(cè)和定位能力，才能實(shí)現(xiàn)全方位的頭部、手部互動(dòng)和交互， 才能給用戶帶來(lái)更具真實(shí)感的虛擬體驗(yàn)。

? ? ?一、目前ARVR產(chǎn)品的現(xiàn)狀

　　市場(chǎng)上已經(jīng)上市的ARVR產(chǎn)品并不少，價(jià)格從幾十元的Cardboard到上萬(wàn)元的Hololens，用戶體驗(yàn)差異落差很大。先說(shuō)VR產(chǎn)品，整體來(lái)說(shuō)可以分成如下這幾類：

　　1. Cardboard產(chǎn)品

　　這類產(chǎn)品是最簡(jiǎn)單的VR產(chǎn)品，來(lái)源于谷歌的紙盒VR盒子，簡(jiǎn)單地說(shuō)就是用兩個(gè)凸透鏡把手機(jī)分屏顯示的內(nèi)容，投射到眼鏡，借助于手機(jī)內(nèi)置的IMU來(lái)判斷用戶頭部的運(yùn)動(dòng)姿態(tài)來(lái)調(diào)整VR顯示內(nèi)容的運(yùn)動(dòng)方向。這類產(chǎn)品在2015年國(guó)內(nèi)大量的白牌開(kāi)始出貨，但VR整體效果都取決于手機(jī)的配置和光學(xué)鏡頭的質(zhì)量，只能說(shuō)是入門(mén)級(jí)別的VR體驗(yàn)產(chǎn)品。

　　國(guó)內(nèi)一些視頻內(nèi)容和游戲公司的第一代VR產(chǎn)品，也基本都是這種形態(tài)，最有代表性的就是暴風(fēng)盒子，配一個(gè)BT控制手柄來(lái)進(jìn)行菜單選擇。這類產(chǎn)品的出現(xiàn)確實(shí)對(duì)整個(gè)VR行業(yè)的推動(dòng)起了很大作用，但其弊端也是非常明顯的，所以才有了暴風(fēng)一體機(jī)、大朋、小鳥(niǎo)看看等一體機(jī)在2016年陸續(xù)上市。

　　Cardboard方式的VR設(shè)備，在2016年迎來(lái)了一個(gè)特別大的機(jī)遇，那就是谷歌提出的Daydream VR，谷歌為了提升VR Cardboard的用戶體驗(yàn)，并且希望在整個(gè)VR生態(tài)系統(tǒng)中能夠占據(jù)主導(dǎo)地位，在2016年發(fā)布了Daydream手機(jī)Pixel、Pixel XL這兩款手機(jī)和Daydream Viewer頭戴Cardboard，并且還配置了一個(gè)內(nèi)置IMU的遙控手柄。按照谷歌對(duì)VR設(shè)備用戶體驗(yàn)的要求，必須達(dá)到某個(gè)硬件配置以上的手機(jī)，配合Daydream Viewer運(yùn)行相關(guān)VR應(yīng)用，用戶才不會(huì)眩暈。從2016年開(kāi)始，隨著華為P9、聯(lián)想MotoZ等產(chǎn)品的上市，宣稱支持Daydream的手機(jī)也越來(lái)越多，預(yù)計(jì)在2017年，這類產(chǎn)品會(huì)完全打破原來(lái)Cardboard用戶體驗(yàn)不佳的僵局。

　　2. 頭動(dòng)控制的一體機(jī)

　　一體機(jī)顧名思義就是不需要再插入手機(jī)或者連接PC就可以使用的VR設(shè)備，目前代表性的有大朋、小鳥(niǎo)看看等，大部分產(chǎn)品都是在2016年上市的，這些產(chǎn)品的特點(diǎn)基本都是采用了1080p或者2K分辨率的顯示屏（有些還采用了2Kx2的雙屏）配合專門(mén)為VR產(chǎn)品優(yōu)化設(shè)計(jì)過(guò)的菲尼爾非球面光學(xué)鏡頭，整體的畫(huà)質(zhì)和畸變都提升了很多。但目前這類產(chǎn)品都有一個(gè)共同的特點(diǎn)，那就是只有簡(jiǎn)單的頭動(dòng)控制，只能坐或者站在原地通過(guò)搖頭晃腦來(lái)實(shí)現(xiàn)VR的控制，無(wú)法做頭手的交互。為了彌補(bǔ)這個(gè)缺陷，目前有一些外置的具有空間位置檢測(cè)功能的配件（內(nèi)置IMU的手柄、體感背包、空間定位光球等）來(lái)提升整體VR的用戶體驗(yàn)。

　　3. 帶空間監(jiān)測(cè)和定位的一體機(jī)

　　空間監(jiān)測(cè)和定位，一般有兩種方式，Inside-out和Outside-in。Inside-out是通過(guò)一體機(jī)內(nèi)置的sensor來(lái)感知設(shè)備外部的空間信息并做相關(guān)定位。而Outside-in則正好相反，通過(guò)外置的傳感器來(lái)感知VR設(shè)備的位置，從而提供定位信息給VR應(yīng)用。對(duì)一體機(jī)來(lái)說(shuō)，目前來(lái)看無(wú)一例外地選擇了Inside-out的方案，這樣就避免了需要提前額外布置外部傳感器的工作，用戶可以隨時(shí)隨地拿起VR設(shè)備就是用。預(yù)計(jì)2017年即將上市的一些大廠產(chǎn)品，比如大朋一體機(jī)二代、暴風(fēng)一體機(jī)等，都會(huì)具備空間定位能力，從而大幅度提升VR的用戶體驗(yàn)，特別是VR游戲。

　　4. PC VR

　　這類產(chǎn)品最具代表性的就是HTC Vive、Sony PSVR和HTC Oculus，這三劍客2016年上市之后，特別HTC Vive幾乎成了VR體驗(yàn)館的標(biāo)配，另外很多的行業(yè)定制也是基于Vive的。Sony PSVR上市不到半年就銷售了大約100萬(wàn)臺(tái)，對(duì)于整個(gè)VR行業(yè)用戶體驗(yàn)整體水準(zhǔn)提高起來(lái)很大作用。這三款產(chǎn)品的特點(diǎn)就是都采用了外置的空間定位技術(shù)，比如Vive采用的是外置紅外激光發(fā)射器，頭顯和手柄感應(yīng)發(fā)射器的位置來(lái)判斷自身的位置和運(yùn)動(dòng)軌跡，PSVR和Oculus都是采用外部傳感器來(lái)感應(yīng)頭顯和手柄發(fā)出的可見(jiàn)光或者紅外光來(lái)判斷頭顯和手柄的位置;讓頭顯、手柄都能精確地知道任何時(shí)間他們各自在空間中的相對(duì)位置和移動(dòng)軌跡，從而可以讓VR的應(yīng)用更加真實(shí)。

　　接下來(lái)再說(shuō)說(shuō)AR產(chǎn)品，目前AR產(chǎn)品整體來(lái)說(shuō)落差很大，有些AR眼鏡產(chǎn)品只是把虛擬信息、圖像等直接投射出來(lái)，跟用戶所在的實(shí)際環(huán)境并沒(méi)有實(shí)際關(guān)聯(lián)，這類產(chǎn)品只能做到投射的虛擬信息跟隨頭動(dòng)實(shí)現(xiàn)6DOF的動(dòng)作跟蹤，但無(wú)法把虛擬的物體跟用戶所在的實(shí)際環(huán)境融合。比如大名鼎鼎的ODG，目前最新的產(chǎn)品也只是支持6DOF的動(dòng)作追蹤，沒(méi)有空間定位功能。

　　上海智視的智能眼鏡也跟ODG的功能類似，但他們的定位是第一視角的直播，所以只需要在眼鏡中顯示拍攝的相關(guān)信息和視頻即可，無(wú)需做空間定位。但據(jù)了解他們正在開(kāi)發(fā)的還有一個(gè)內(nèi)置TOF depth camera的眼鏡，這個(gè)是可以實(shí)現(xiàn)6DOF+空間定位的功能的。

　　目前已經(jīng)上市的AR產(chǎn)品中，空間監(jiān)測(cè)和定位能力最好，虛擬物體跟環(huán)境匹配最好的有2個(gè)產(chǎn)品，一個(gè)是基于谷歌Tango的空間定位技術(shù)的聯(lián)想Phab2 Pro， 還有一個(gè)是微軟的Hololens，這2個(gè)產(chǎn)品雖然形態(tài)上差異很大，但本質(zhì)上來(lái)說(shuō)都是6DOF+SLAM的完整結(jié)合，實(shí)現(xiàn)空間定位和運(yùn)動(dòng)追蹤，他們的AR效果，基本來(lái)說(shuō)都可以做到虛擬物體和實(shí)際環(huán)境的融合，不管用戶如何移動(dòng)、從哪個(gè)角度來(lái)觀看，感受就跟真實(shí)的物體放在眼前一樣。但從最終實(shí)際使用的效果來(lái)說(shuō)，Hololens的6DOF+SLAM精度和穩(wěn)定性還是要比Tango高，這跟整個(gè)硬件設(shè)計(jì)平臺(tái)、傳感器類型和數(shù)量的選擇、核心算法都是密切相關(guān)的。

　　另外國(guó)內(nèi)其實(shí)還有很多公司也在開(kāi)發(fā)相關(guān)的AR產(chǎn)品，其中頗具特色的就是Micro Eye的SMAKKEST，不但神似Hololens，而且功能也跟Hololens相似，其6DOF+SLAM的效果據(jù)說(shuō)被Hololens所認(rèn)可。

　二、空間定位技術(shù)類別

　　空間監(jiān)測(cè)和定位技術(shù)，其實(shí)本質(zhì)上來(lái)說(shuō)可以初略分成2大類，一類就是Inside-out空間監(jiān)測(cè)和定位，另外一類就是Outside-in空間監(jiān)測(cè)和定位。

　　1. Inside-out空間監(jiān)測(cè)和定位技術(shù)

　　Inside-out空間監(jiān)測(cè)和定位技術(shù)，技術(shù)本質(zhì)上有些類似人類眼鏡對(duì)環(huán)境感知環(huán)境的過(guò)程，從設(shè)備內(nèi)部來(lái)感知外部空間，因此被稱為Inside-out定位方式。Inside-out空間監(jiān)測(cè)和定位技術(shù)也分成了2類，一類是基于SLAM技術(shù)的空間監(jiān)測(cè)和定位，這個(gè)也是目前火熱的機(jī)器人行業(yè)所需要的一個(gè)基礎(chǔ)功能，SLAM是simultaneous localization and mapping的英文縮寫(xiě)，是指設(shè)備本身在未知環(huán)境中從一個(gè)位置未知位置開(kāi)始移動(dòng)，在移動(dòng)過(guò)程中根據(jù)位置估計(jì)和地圖進(jìn)行自身定位，同時(shí)在自身定位的基礎(chǔ)上建造增量式地圖，實(shí)現(xiàn)設(shè)備本身自主檢測(cè)和定位導(dǎo)航。目前大部分的AR產(chǎn)品都是采用Inside-out空間定位技術(shù)。

　　基于SLAM的空間監(jiān)測(cè)和定位技術(shù)的代表產(chǎn)品是聯(lián)想Phab2 Pro Tango手機(jī)和Hololens，都是采用了深度監(jiān)測(cè)+Fisheye和IMU融合做運(yùn)動(dòng)監(jiān)測(cè)，不同的是深度監(jiān)測(cè)所采用的技術(shù)不同（Tango采用的是TOF，而Hololens采用的是結(jié)構(gòu)光）和Fisheye運(yùn)動(dòng)和特征點(diǎn)監(jiān)測(cè)的數(shù)量不同，Hololens的空間定位效果比Tango要更精確更穩(wěn)定，而且在弱光、玻璃透光等環(huán)節(jié)中，Hololens的效果則完勝目前的Tango，但Tango技術(shù)也不是一成不變的，下一代的Tango技術(shù)也支持多Fisheye camera。

　　聯(lián)想Phab2 Pro Tango手機(jī)，使用了一個(gè)TOF深度攝像頭，一個(gè)155度FOV的Fisheye運(yùn)動(dòng)監(jiān)測(cè)camera和一個(gè)RGB camera，F(xiàn)isheye運(yùn)動(dòng)監(jiān)測(cè)camera配合IMU數(shù)據(jù)的融合，進(jìn)行特征點(diǎn)匹配，給設(shè)備提供一個(gè)完整的運(yùn)動(dòng)軌跡的監(jiān)測(cè)，配合TOF深度攝像頭的云圖信息，可以實(shí)時(shí)繪制出設(shè)備本身在空間中的位置、運(yùn)動(dòng)的軌跡，同時(shí)通過(guò)Tango自帶的區(qū)域?qū)W習(xí)功能，當(dāng)回到已經(jīng)走過(guò)的空間中，一旦Fisheye camera監(jiān)測(cè)到了已經(jīng)存儲(chǔ)的特征點(diǎn)并且能匹配上，就可以快速地進(jìn)行空間定位，這對(duì)AR設(shè)備來(lái)說(shuō)是非常重要的，可以確保用戶隨時(shí)隨地地快速使用。Tango的工作原理這里就不解釋了，可以參考林時(shí)工的另外一篇文章做詳細(xì)了解。

　　微軟的Hololens的設(shè)計(jì)非常獨(dú)特也非常有錢(qián)任性，新開(kāi)了一顆了基于Intel的CPU和GPU技術(shù)的HPU（Holographic Processing Unit），設(shè)備采用CPU+GPU+HPU的配置，跟Tango一樣，不需要外置PC就看實(shí)現(xiàn)完整的空間監(jiān)測(cè)和定位。而在傳感器方面，深度監(jiān)測(cè)使用了2個(gè)結(jié)構(gòu)光camera，配合4個(gè)結(jié)構(gòu)光光柵發(fā)射器來(lái)進(jìn)行深度監(jiān)測(cè)。另外在Hololens的左右各有2個(gè)Fisheye camera，從而能夠監(jiān)測(cè)到更多的空間環(huán)境中的特征點(diǎn)。因此Hololens的空間定位精度和穩(wěn)定性要比Tango高很多。

　　另一類則是基于marker（標(biāo)記點(diǎn)）的空間監(jiān)測(cè)和定位技術(shù)，簡(jiǎn)單的說(shuō)就是在實(shí)際空間中放置一些類似二維碼、特殊顏色圖形的圖案或者光點(diǎn)作為標(biāo)記點(diǎn)，設(shè)備來(lái)監(jiān)測(cè)這些標(biāo)記點(diǎn)的位置來(lái)判斷自身的位置和運(yùn)動(dòng)趨勢(shì)。HTC Vive就是這個(gè)類型的代表， 下圖是HTC Vive的空間定位工作原理。

　　Vive通過(guò)兩個(gè)固定的激光發(fā)射器發(fā)射激光，每個(gè)基站里有一個(gè)紅外LED陣列，分布兩個(gè)轉(zhuǎn)軸互相垂直的旋轉(zhuǎn)的紅外激光發(fā)射器，一個(gè)是X軸掃描，另一個(gè)是Y軸掃描，兩個(gè)激光器有固定的180度相位差，當(dāng)其中一個(gè)激光器發(fā)射X軸掃描時(shí)，另外一個(gè)激光器則發(fā)射Y軸掃描。

　　HTC Vive 頭顯的外殼，密密麻麻布滿了32個(gè)光感傳感器，分別朝向不同問(wèn)方向，這些傳感器都是用來(lái)接受固定的激光發(fā)射器發(fā)出的紅外激光，連接Vive的電腦會(huì)控制所有設(shè)備同步運(yùn)作，頭顯上的光感傳感器分別監(jiān)測(cè)出X軸和Y軸方向激光到達(dá)每個(gè)傳感器的時(shí)間和針對(duì)兩個(gè)不同激光發(fā)射器的相位關(guān)系，就可以計(jì)算出各個(gè)光感傳感器各自的相位差，從而精確地定位頭顯的位置和運(yùn)動(dòng)軌跡。

　　Vive手柄上共有24個(gè)光感傳感器，手柄的工作原理和頭顯相同，這里不再重復(fù)。

　　另外必須要提一下的是國(guó)內(nèi)的Ximmerse，他們也推出了針對(duì)VR設(shè)備的Outside-in空間定位包設(shè)計(jì)方案，通過(guò)這個(gè)空間定位包，可以給沒(méi)有空間定位功能的VR設(shè)備提供跟HTC Vive類似精度的空間監(jiān)測(cè)和定位能力。定位包包括一個(gè)雙camera的模塊，2個(gè)帶光球的控制手柄，使用時(shí)將雙camera模塊外置到頭顯上，通過(guò)雙camera捕捉控制手柄的光球，判斷手柄在空間中的位置，同時(shí)手柄通過(guò)BT把自身6DOF的信息傳給模塊，模塊將6DOF和光球位置信息進(jìn)行算法融合，實(shí)現(xiàn)全方位定位，從而提升頭手的交互。這個(gè)方案的優(yōu)勢(shì)就是可以在任何環(huán)境光照情況下，定位精度不受外界環(huán)境光干擾，而且定位精度很高。但該方案無(wú)法對(duì)用戶所在的整體空間環(huán)境進(jìn)行監(jiān)測(cè)和定位，只能監(jiān)測(cè)到光球手柄的空間位置信息，但其優(yōu)勢(shì)就是可以快速讓原有沒(méi)有空間定位的VR設(shè)備至少擁有類似HTC Vive這樣的空間定位能力。

　　2. Outside-in空間監(jiān)測(cè)和定位技術(shù)

　　Outside-in的空間監(jiān)測(cè)和定位技術(shù)目前是VR設(shè)備是比較成熟的空間定位技術(shù)，Sony PSVR和Oculus都是采用類似的方案，不過(guò)Oculus更是在外置攝像頭加上紅外主動(dòng)馬克點(diǎn)的方式，來(lái)獲得更高的精度和更快的響應(yīng)時(shí)間。而PS VR則直接采用了PS 3的MOVE系統(tǒng)，原理與Kinect類似，通過(guò)外置雙目深度攝像頭來(lái)進(jìn)行動(dòng)作識(shí)別與追蹤頭顯和手柄。頭顯上有燈光指示，手柄頂端也有不同顏色的光球，外置的雙camera隨時(shí)檢查頭顯和手柄上的光球運(yùn)動(dòng)軌跡，同時(shí)PS Station接收通過(guò)BT傳回的頭顯和手柄的IMU信息，通過(guò)計(jì)算就可以得到完整的頭顯和手柄在空間中運(yùn)動(dòng)軌跡和定位。

　　從原理和實(shí)際使用的效果上來(lái)說(shuō)，空間監(jiān)測(cè)和定位的精度沒(méi)有HTC Vive高，雖然Sony的游戲效果和PSVR頭戴本身的佩戴舒適度比Vive要好，但空間定位精度不高，就影響到了VR游戲的整體體驗(yàn)。因此我們也從Sony的官網(wǎng)上看到了Sony的一個(gè)最新空間定位專利，這個(gè)專利應(yīng)該就是為下一代PVSR準(zhǔn)備的，從專利的描述來(lái)看應(yīng)該是類似HTC的固定激光發(fā)射器的方式，這個(gè)方案跟目前PSVR的做法正好相反，不再使用外部攝像頭來(lái)拍攝（Outside-In定位），而是通過(guò)外部的信號(hào)來(lái)定位VR頭盔在空間中的方向。從而可以提供類似HTC Vive的使用精度（可能更高），同時(shí)可以360度無(wú)死角地捕捉用戶的各種姿態(tài)和運(yùn)動(dòng)軌跡。

　　Oculus的空間監(jiān)測(cè)和定位技術(shù)跟Sony PSVR類似，不同的地方是PSVR采用的是外置雙camera監(jiān)測(cè)可見(jiàn)光的方案，而Oculus采用的是主動(dòng)式紅外光，頭顯和手柄上都放置了紅外發(fā)光LED，通過(guò)外置的紅外攝像頭進(jìn)行拍攝和捕捉頭顯和手柄上紅外光點(diǎn)的信息，從而獲得頭顯和手柄的運(yùn)動(dòng)軌跡和空間位置信息。

　　不管是Sony PSRV還是Oculus的Outside-in方案，都存在一個(gè)問(wèn)題，那就是外置camera是固定的，而在用戶背對(duì)camera的時(shí)候，camera是無(wú)法檢測(cè)到頭顯和手柄上的光點(diǎn)的，可能會(huì)存在漏監(jiān)的可能性，從而影響用戶體驗(yàn)，這點(diǎn)在HTC Vive上就不存在。

　　另外一個(gè)基于Marker點(diǎn)的Outside-in空間監(jiān)測(cè)和定位技術(shù)，也是Ximmerse公司的光球+雙camera方案，這個(gè)跟前面提到的他們的Inside-out的方案正好相反，這里把雙camera監(jiān)測(cè)器放到了室內(nèi)固定的位置，然后在VR頭顯和手柄上布置光球，頭顯和手柄在運(yùn)動(dòng)個(gè)過(guò)程中，雙camera監(jiān)測(cè)器記錄下來(lái)頭顯和手柄在空間里的三維位置和它們的移動(dòng)數(shù)據(jù)，通過(guò)BT或者WiFi傳遞給VR頭顯做相關(guān)的運(yùn)算和處理，并實(shí)施反饋到畫(huà)面上，實(shí)現(xiàn)在虛擬環(huán)境里自由地走動(dòng)，與虛擬世界里的事物進(jìn)行交互。

　　以下是幾個(gè)不同方案的匯總和比較：