從選擇合適的算力、冷卻系統(tǒng)，到將所有組件裝進一個很小的外殼中，同時還要降低成本，虛擬現(xiàn)實（VR）系統(tǒng)的設計人員面臨許多挑戰(zhàn)。最主要的挑戰(zhàn)也許是人機工程學，即確保用戶頭戴設備的舒適性。許多VR在設計中都考慮了外形尺寸，因為如果VR設備太重或使用中過熱，用戶根本就不會用它。

在Facebook從事Oculus VR產(chǎn)品開發(fā)的VR硬件產(chǎn)品經(jīng)理Prabhu Parthasarathy認為，人機工程學在VR設計中“至關重要”，它需要硬件、軟件和技術的完美結(jié)合。

Parthasarathy說：“在設計任何產(chǎn)品時，我們都不會孤立地來看某個組件，而是從整體上考慮我們想要獲得的產(chǎn)品體驗，包括其獨特的用戶和用例?！?/p>

Parthasarathy同時也承認，只有當軟件和硬件結(jié)合時才會產(chǎn)生“魔力”。

“魔力表現(xiàn)在兩個方面，一是編寫軟件，使它提供魔法般的體驗，這是非常困難的部分；而另一部分則是要符合人體工程學，將一切都完美契合在設備中，讓用戶忘記硬件，感受虛擬世界?！?/p>

從頭說起

VR系統(tǒng)有幾種類型，從PC專用VR系統(tǒng)到VR一體機。PC專用VR系統(tǒng)中的頭戴設備是連接到PC的，所有游戲和圖形處理的繁重工作都由PC完成；而VR一體機則在頭戴設備中運行所有軟件。

Oculus VR就是VR一體機的典范。Oculus公司曾在2012年提出，要讓所有人都買得起VR。兩年后，F(xiàn)acebook以20億美元的價格收購了Oculus，盡管那時它只有一個頭戴設備原型。

Parthasarathy解釋道，F(xiàn)acebook看到了機會，他們認為，人們最終將只在虛擬的世界和社區(qū)中進行交流，人與人之間的聯(lián)系會自然發(fā)展到這種情形。

Oculus公司的第一款產(chǎn)品是PC VR系統(tǒng)，Oculus Rift，它讓用戶可以在PC上運行專為VR體驗而開發(fā)的游戲。使用這種系統(tǒng)，游戲開發(fā)人員就不會因為游戲大小或圖形種類而受到限制；借助外部傳感器，系統(tǒng)可以確定玩家在現(xiàn)實世界中的位置，并將其轉(zhuǎn)換至虛擬世界。

Oculus公司隨后推出了Oculus Go，這是該公司第一款不受限制的VR一體機。其軟件完全在頭戴設備中運行，但它受限于3自由度（DoF）方向追蹤。3DoF系統(tǒng)可以追蹤三個軸，在VR頭戴設備中，它可以檢測玩家向左/向右移動、或上下左右旋轉(zhuǎn)頭部的動作。

但是，它不能追蹤前進和后退，或者蹲下與站立。只有6DoF才能實現(xiàn)這些動作的追蹤，而這對系統(tǒng)軟硬件和成本都有很大影響。6DoF檢測六個軸上的位置：向前/向后、向左/向右和向上/向下。這樣的追蹤系統(tǒng)可能很復雜，需要額外的硬件和軟件，從而增加了成本。

Oculus Quest是該公司最近的創(chuàng)新產(chǎn)品，是其首款采用觸控控制器的6DoF VR一體機。它將之前的兩種系統(tǒng)很好地結(jié)合起來，需要硬件和軟件團隊之間的緊密合作。

VR系統(tǒng)組成

Parthasarathy以Oculus Quest VR系統(tǒng)為例，向我們綜合介紹了VR系統(tǒng)設計的關鍵元器件。

像許多產(chǎn)品一樣，計算系統(tǒng)的核心是處理器，Oculus的工程團隊選擇了高通移動芯片組驍龍835作為其計算系統(tǒng)的核心。驍龍835載有8個內(nèi)核，時鐘頻率高達2.45 GHz，并配有Adreno 540 GPU。Oculus在設計該系統(tǒng)時使用了一個新型冷卻系統(tǒng)，CPU可以在更高的時鐘頻率下運行，從而優(yōu)化了芯片性能。稍后我們再詳細介紹這個冷卻系統(tǒng)。

如果說處理器是系統(tǒng)的核心，那Oculus最大的亮點就是其追蹤系統(tǒng)。

為使追蹤工作正常進行，Quest設計師開發(fā)了Oculus Insight內(nèi)向外追蹤系統(tǒng)，這是該公司最具競爭力也最具創(chuàng)新的部分。由于頭戴設備中的傳感器（攝像頭）能夠檢測到控制器的移動，用戶在現(xiàn)實世界中的動作才得以即刻反映在虛擬世界中。

Oculus Insight追蹤系統(tǒng)使用了大量來自慣性測量單元（IMU）、超廣角攝像頭和紅外LED的數(shù)據(jù)，以追蹤VR頭戴設備和控制器的6DoF位置。

Parthasarathy說，它是一個復雜的系統(tǒng)，由傳感器、IMU等硬件以及傳感器融合、計算機視覺算法等軟件組成。

Oculus Insight 內(nèi)向外追蹤系統(tǒng)的核心是同步定位與地圖構(gòu)建（SLAM），它利用計算機視覺算法“融合”由多個傳感器輸入的數(shù)據(jù)，以確定目標在不斷更新的數(shù)字地圖中的位置。它還使用其他傳感器數(shù)據(jù)，例如來自頭戴設備和控制器中IMU加速度和速度數(shù)據(jù)，這些數(shù)據(jù)在移動芯片組上進行實時處理。

Oculus Insight包含四個超廣角傳感器，用于分析頭戴設備的外部環(huán)境；它還采用計算機視覺算法來實時追蹤精確定位。該系統(tǒng)全方位追蹤玩家的移動，并精確定位兩個手持控制器和頭戴設備的位置。

Parthasarathy說：“Insight利用傳感器輸入的信息創(chuàng)建玩家環(huán)境的3D地圖，將玩家的位置移動精確地轉(zhuǎn)換至VR，同時確保玩家安全地置身游戲限定的空間邊界以內(nèi)，從而獲得奇妙的沉浸式體驗?！?/p>

數(shù)字信號處理的優(yōu)化包括地圖的異步更新，它根據(jù)用戶環(huán)境中背景的變化來更新地圖。IMU獨立運行，其輸出數(shù)據(jù)存儲在內(nèi)存緩沖區(qū)中，以最大限度減少系統(tǒng)延遲。

接下來說說視覺系統(tǒng)，也就是顯示器和光學器件。Oculus在一些產(chǎn)品中采用了LCD技術， Quest則使用OLED技術。OLED顯示器可以提供72Hz的刷新頻率，以及1600×1440的每眼分辨率。Quest還提供鏡頭間距調(diào)節(jié)功能，以增加視覺舒適度。

Parthasarathy說：“要得到身臨其境的VR體驗，其關鍵因素之一就是鏡頭。Oculus Insight采用的菲涅耳透鏡非常特別，它可以根據(jù)頭戴設備的尺寸和形狀以及想要的各種體驗進行定制?！?/p>

“在為Quest這樣一個無線頭戴設備選擇合適的顯示屏時，我們考慮的是，功率要比較低，視覺效果還要出色，OLED顯示屏與我們的一流鏡頭相結(jié)合便可完美滿足這些要求。在Oculus Go中，我們也使用了相同的顯示屏。” Parthasarathy補充道。

再來說說無線器件。由于Oculus Quest是獨立系統(tǒng)，因此使用了Wi-Fi。除此之外，它還需要其他通信器件，特別是對于兩個手持式控制器，需要近乎實時地與頭戴設備進行通信。

實時功能是一個巨大的挑戰(zhàn)，它減少了將玩家在現(xiàn)實世界中的動作轉(zhuǎn)換至虛擬世界的延遲。

Parthasarathy說：“ VR的魔力在于，玩家在現(xiàn)實世界中的身體移動，幾乎可以即時呈現(xiàn)在虛擬世界中。如果現(xiàn)實世界中的動作與虛擬世界中所看到的動作之間存在時間差，當體驗太糟時玩家便會棄之不用。”

為了減少延遲，Quest設計人員開發(fā)了他們自己的協(xié)議，以實現(xiàn)控制器和頭戴設備之間的通信。藍牙低功耗（BLE）是延遲最小的協(xié)議之一，其延遲時間約為7.5ms，“與之相比，Quest頭戴設備與控制器之間的通信延遲時間約為2.5ms，這非常棒?！盤arthasarathy表示。

再來說一說功率。Parthasarathy介紹，VR的一個關鍵是要帶給人們無阻礙的體驗，這意味著電池續(xù)航時間要足夠長，讓他們完成想做的事情。

這并不是說在設備中放一塊大電池就可以了，Parthasarathy 補充道，“我們必須使用容量足夠大的電池來提供這些體驗，但它又不能太重，以免降低設備的舒適性?！?/p>

Parthasarathy說Quest采用了定制電池組，但并未透露細節(jié)?？沙潆婋姵丶夹g并不是什么獨特的技術，不過電池的大小必須符合頭戴設備的要求。

文檔顯示，Quest采用3648mA可充電鋰離子電池組，額定功率為14W。雙電芯電池的標稱電壓為3.6 V，重約70g。

Parthasarathy表示，Oculus主要使用現(xiàn)成技術，這通常需要設計人員與器件供應商緊密合作。無論是電池、顯示屏還是其他器件，為了滿足需求，通常還需要進一步定制。

例如，用于追蹤系統(tǒng)的許多元器件都是現(xiàn)成的器件，如紅外LED。但在其他情況下，還需要對器件（如IMU）進行一些調(diào)整。

Parthasarathy說：“我們采用的IMU通常也是現(xiàn)成的，但由于對追蹤的要求非常嚴格，所以有時候我們會去找供應商，在他們的產(chǎn)品規(guī)格90％都符合我們需求的情況下，請他們讓剩下的10％更加符合我們獨特的系統(tǒng)要求。我們并不想為每一個功能定制硬件，所以會盡量嘗試利用現(xiàn)成的元器件。”

他說：“Oculus Quest中沒有多少元器件可以拿來就用，找到供應商只說一句給我們一些零件，然后將它們集成到系統(tǒng)中，這樣是行不通的。通常，我們需要針對這些組件，例如光學器件和顯示屏，與供應商進行非常密切的合作?！?/p>

另一個例子是系統(tǒng)冷卻，這是VR系統(tǒng)的一大設計挑戰(zhàn)。Oculus Quest結(jié)合了風扇、散熱器和非?！靶路f的架構(gòu)”，實現(xiàn)了良好的散熱，從而避免設備發(fā)燙。

它采用主動式風扇冷卻系統(tǒng)來調(diào)節(jié)溫度，使Quest可以在高得多的時鐘頻率下持續(xù)工作，從而更有效地利用高通驍龍835 SoC。除主動式混合風扇技術外，該系統(tǒng)還包括一個熱管以及定制散熱通道。

一旦滿足了硬件要求，接下來的重要任務便是推動Oculus產(chǎn)品的軟件創(chuàng)新。 Parthasarathy提到，要創(chuàng)造更誘人的新體驗，首先要令硬件全面滿足性能指標，然后再利用軟件來進行突破。

“軟件創(chuàng)新可以幫助我們將硬件潛力發(fā)揮到極致，同時為玩家提供越來越好的體驗。” 他說，“這是我們關注的重點?！?/p>

Parthasarathy舉例說，最初在Rift S上提供的透傳（Passthrough+）功能，就可以讓玩家在VR里看到周圍環(huán)境的實時立體校正視圖。例如，玩家在戴著頭戴設備的情況下，能夠“透過”傳感器看清周圍的環(huán)境。

“在Quest上實現(xiàn)這一功能，得益于先進的高性能圖像處理和3D計算技術的支持。一旦超出游戲空間的邊界，Passthrough+即會開啟，確保玩家能夠輕松返回?！?/p>

整體權衡

人體工程學是一個重要的設計概念，在很多情況下，它與VR系統(tǒng)元器件的選擇密切相關。為了獲得最佳設計，要綜合考慮所有因素，對VR系統(tǒng)的所有關鍵元器件進行設計權衡與折衷。

Parthasarathy說，Oculus Quest設計實際上是要找到一種恰當?shù)钠胶?，一方面要獲得完全沉浸式的體驗和舒適感，另一方面還要采用合適的硬件，使追蹤功能完善、電池壽命足夠長、顯示效果足夠好。

他說，試想一下，“你是想要一個戴在頭上的設備，還是想要一個具有同樣沉浸體驗的太陽鏡呢？恐怕每個人都想要太陽鏡這樣的設備。可惜的是，像太陽鏡這種大小的設備，不太可能在滿足處理、電池以及豐富的光學和顯示技術的同時還具有足夠的舒適度?！?/p>

Parthasarathy指出：“最大的挑戰(zhàn)并不是人體工程學本身，而在于要提供吸引人的體驗就必須考慮系統(tǒng)的方方面面。”

“如果只是想改善人體工程學很容易，就好像壓一下單側(cè)杠桿。但這樣做會影響設備的其他方面，因此，一切都要取得折衷?！?/p>

最初的VR是將所有東西都放在PC上，現(xiàn)在設計人員正嘗試不依賴PC的大功率、顯卡或大型冷卻系統(tǒng)，卻能獲得類似的體驗。

“為了在獨立式VR頭戴一體機中獲得類似的體驗，需要進行大量的工作，還需要非常獨特的技術，例如采用固定注視點渲染技術，我們可以巧妙地減少工作量，而開發(fā)人員卻能夠充分利用GPU制作出色的游戲?！盤arthasarathy說。

“如果你問一問系統(tǒng)工程師就會知道，他們在冷卻、計算、幀率以及運行頻率之間進行了大量的折衷?！彼f，“這種折衷太多了，我們會一點一點地減少?！?/p>

目前Oculus在努力改善圖形和游戲體驗，讓玩家享受與PC媲美的體驗。其最近的一項創(chuàng)新是系統(tǒng)中不再使用控制器。去年底，Oculus開發(fā)了一個SDK，玩家無需控制器或其他外圍設備，而是使用自己的雙手來控制，這是前所未有的游戲體驗。

Quest的計算機視覺團隊只需在Quest上使用單色攝像頭，再利用深度學習就能了解玩家手指的位置。Oculus解釋說，這項技術創(chuàng)建了一組3D點，可以準確呈現(xiàn)玩家在VR中的手和手指的移動。

在實現(xiàn)手勢追蹤時，軟件發(fā)揮了重要作用。Parthasarathy說：“通過軟件創(chuàng)新，我們可以開啟全新的輸入和交互模式，而無需任何新硬件。對移動芯片組來說，這是一個巨大的挑戰(zhàn)?！?/p>

“為了實現(xiàn)這一功能，我們的計算機視覺團隊開發(fā)了一種新方法，利用Quest內(nèi)置的單色攝像頭，通過深度學習來了解玩家手指的位置，而不需要主動深度感知攝像頭、額外的傳感器或者處理器?！?/p>

“相反，將深度學習與基于模型的追蹤相結(jié)合，可以預測用戶手和手上各點的位置，然后在3D模型中重建用戶手和手指的‘姿勢’。”他說，“而這一切都在移動處理器中完成，不必耗用屬于用戶應用的資源?！?/p>

從長遠來看，VR設計師仍然面臨許多設計挑戰(zhàn)，例如設計外形更小、更舒適的頭戴設備，同時仍提供相同的VR體驗以及更長的電池壽命。其中有些是由用戶驅(qū)動的，例如，大約400至500美元的合理價位。

Parthasarathy說：“我們正努力尋找最有效的方法來持續(xù)改善用戶體驗，滿足用戶的需要，同時突破技術限制使之更易實現(xiàn)。我們可以用2500美元或3000美元的頭戴設備解決這些問題，但這并非我們的初衷。我們希望大多數(shù)人能用VR。”