Facebook進一步介紹關于最近用以優(yōu)化控制器追蹤性能的版本更新，尤其是針對具有挑戰(zhàn)性的追蹤環(huán)境，如包含圣誕樹或假日裝飾燈具的空間。由于Facebook的追蹤系統(tǒng)是基于檢測和幾何匹配小簇紅外光，所以假日季期間將呈現(xiàn)重大的挑戰(zhàn)，因為它要在包含數(shù)百個光點blob的背景下正確追蹤控制器，而系統(tǒng)可能會將其誤認為是控制器。

1. 追蹤挑戰(zhàn)

當控制器位于圣誕樹前時，Insight追蹤系統(tǒng)所感知的畫面將如下所示。右側的黃點是系統(tǒng)檢測到的所有潛在控制器LED。如你所見，無論是來自圣誕樹，裝飾吊燈，還是其他可能存在的燈串，外部光源都會給系統(tǒng)定位控制器的LED帶來挑戰(zhàn)。

圖中的其他光源對追蹤算法提出了一定的挑戰(zhàn)：

更多的光點blob會導致分割和匹配的計算時間增加。

若無關于控制器在上一幀中的位置信息，如果控制器介于裝飾燈具的離群值范圍內，則系統(tǒng)幾乎不可能計算姿勢。

就算存在先前的信息，即便是單個錯誤的LED都會造成錯誤地匹配，從而導致追蹤失敗。

由于Quest的嚴格計算預算，計算時間的任何增加都可能造成camera的掉幀。

面對上述挑戰(zhàn)，在假日裝飾燈附近的環(huán)境中進行控制器追蹤非常困難，并且除非用戶關閉燈具或將其移至其他房間，否則可能會導致錯誤。但Facebook希望人們什么時候都能夠在家里享Quest和Rift S的樂趣，所以Facebook專注于優(yōu)化追蹤系統(tǒng)。

2. 解決方案

Facebook構建了兩種主要方法來解決這個問題的不同方面：

首先，開發(fā)了一種可以檢測環(huán)境中的固定3D燈源，并使用其3D位置來幫助拒絕這種光點blob的全新算法。映射外部點的過程類似于Insight追蹤背后的系統(tǒng)。

要為這種固定的離群點創(chuàng)建精確的映射，需要系統(tǒng)計算它們的基本幾何形狀并對其在3D空間中的位置進行三角測量。系統(tǒng)將在游玩過程建立其追蹤的標記列表。這種標記不僅存儲離群點的位置，同時存儲稱為協(xié)方差的不確定性值。這種不確定性可以幫助提高系統(tǒng)當標記為固定時的判斷精度。一旦在同一位置多次看到相同的標記，系統(tǒng)就會予以確認并在追蹤過程忽略相關的光點blob。

在下面的并排圖像中，你可以看到新算法（左側）識別出粉紅色標記和綠色標記。其中，粉紅色為圣誕樹燈具的光點blob，而綠色則為控制器LED的光點blob。

一旦繪制了固定標記，系統(tǒng)就會將它們投影到camera視圖，從而獲取其在每一幀中的像素位置。在所述位置檢測到的光點blob（通過特定閾值內的誤差度量來測量）不會用于匹配。進行刪減后，系統(tǒng)將獲得一個非常有可能是控制器blob的非固定blob索引列表。但是，僅追蹤固定的標記不足以確保可靠的追蹤。在最具挑戰(zhàn)性的環(huán)境中，我們希望系統(tǒng)在處理之前先剔除明顯不正確的光源。

所以，F(xiàn)acebook通過內部測試分析為何會發(fā)生追蹤不匹配。Facebook發(fā)現(xiàn)通常的情況是，由于姿態(tài)匹配，不匹配的控制器blob尺寸會錯誤，如假定姿態(tài)接近時blob太小。綜上所述，圖像中的顯式blob尺寸基本可根據(jù)以下因素進行預測：

LED與攝像頭的距離

入射到LED的入射角

圖像blob到圖像中心的距離

圖像Blob橢圓在圖像空間中的方向

考慮到這種關系，F(xiàn)acebook嘗試了不同的方法來將上述輸入信號建模為輸出。Facebook發(fā)現(xiàn)由于塑料的折射效應，幾何建模相當不準確，而機器學習方法（尤其是小型神經網(wǎng)絡）能帶來最高的精確度。

Facebook利用Caffe2訓練了一個極小且針對性極強的CNN卷積神經網(wǎng)絡，從而驗證明顯太大或太小而無法成為控制器blob的blob。Facebook對特定的內部采集數(shù)據(jù)集進行了訓練，并發(fā)現(xiàn)這與映射標記結合時能夠明顯減少離群值數(shù)量的有效方法。

3. 結果

通過這種優(yōu)化，追蹤系統(tǒng)的性能在充滿挑戰(zhàn)的環(huán)境中（如假日季期間常見的環(huán)境）有了顯著改善。最大的改進是顯著減少了數(shù)據(jù)丟失的數(shù)量，并幾乎消除了在密集外部照明情況下不正確的LED匹配。我們發(fā)現(xiàn)這能夠改善用戶體驗，同時希望Quest和Rift S用戶能夠全年無縫地享受VR的樂趣。