遠程面對面交互對于工作、娛樂和人機關(guān)系都十分重要。盡管這種面對面的交互可以通過2D視頻會議或虛擬現(xiàn)實實現(xiàn)，但遠程呈現(xiàn)系統(tǒng)無法正確呈現(xiàn)眼神接觸和社交注視信號的交流。有人曾提出通過在2D視頻會議中重定向視線來實現(xiàn)眼神交流，但2D視頻會議缺乏真實生活中的3D沉浸感。

為了解決所述問題，F(xiàn)acebook開發(fā)了一種虛擬現(xiàn)實面對面交互系統(tǒng)，并專注于再現(xiàn)逼真的注視信號和眼神交流。為了做到這一點，團隊構(gòu)建了一個可通過VR頭顯攝像頭制作動畫的三維虛擬化身模型，從而在虛擬現(xiàn)實中精確地追蹤和再現(xiàn)人類的注視信號。

這項研究的主要貢獻包括：一個可共同學習，并能夠更好地表示注視方向和上面部表情的3D人臉和眼球模型；一種將左右眼注視從彼此和面部其他部分分離開來的方法，從而令模型能夠代表前所未見的眼神和表情組合；以及一個用于支持頭顯攝像頭構(gòu)建精確動畫的注視感知模型。定量實驗表明，這一方法可以獲得更高的重建質(zhì)量，而定性結(jié)果顯示所述方法可以大大改善VR虛擬化身的臨場感。

VR虛擬化身都是對應真實的實時CG渲染。簡單來說，F(xiàn)acebook的方法將眼球和人臉分離，并單獨控制渲染，最后再整合配準，從而實現(xiàn)一系列逼真的眼神+表情組合。

1. 眼球模型的實時單獨渲染

具體而言，研究人員將注視點作為解碼器的條件變量，從而實現(xiàn)顯式注視點控制。要做到這一點，首先通過包含多個攝像頭的頭顯追蹤用戶眼睛，并從多視角訓練圖像中估計出注視點。

對于每一幀，團隊利用檢測器在多個不同的輸入視圖中沿著邊緣檢測關(guān)鍵點，然后沿著邊緣將關(guān)鍵點重投影至多視角圖像，并優(yōu)化每一幀的眼球位置和方向以匹配關(guān)鍵點。這樣就可以為每個序列擬合一個幾何眼睛模型，包括每幀對每個眼睛方向的估計。對于幾何眼睛模型，團隊將其定義成由兩個球體組合的曲面，圍繞邊界線性混合。

為了確保在所有的會聚距離正確控制模型的顯式注視方向，模型必須允許對每只眼睛進行獨立控制。所以，團隊將控制面部地代碼分解成控制左眼區(qū)域和右眼區(qū)域，并在訓練過程中添加區(qū)域損失（Region Loss）以懲罰解碼輸出的差異。例如對左眼應用區(qū)域損失，當改動與左眼區(qū)域無關(guān)的代碼時，左眼將不會運動。

由于模型同時產(chǎn)生幾何和紋理，團隊同時將類似的懲罰應用到紋理，這樣當你改變控制左眼以外區(qū)域的代碼時，左眼紋理同樣不會改變。通過這樣單獨控制每只眼睛的注視，系統(tǒng)可以產(chǎn)生更為逼真的眼神交互。

通過上述方法產(chǎn)生的眼球模型可以為眼球幾何提供一個粗略的初始估計，但如果要為虛擬化身渲染眼球，我們必須精進估計并生成紋理。給定一個多視角面部捕獲，團隊利用上述模型的初始形狀參數(shù)估計每個幀的眼球方向。然后，團隊移除覆蓋眼睛的幾何，并替換以新的眼球幾何。對于渲染新的眼球幾何，團隊利用了視點，眼球方向和眼臉形狀，以及一系列的眼球紋理解碼器和扭曲算法。

團隊將這個模型稱為顯式眼球模型（EEM），從而強調(diào)眼球是一個獨立的、直接控制的幾何組件。

相關(guān)論文：The Eyes Have It： An Integrated Eye and Face Model for Photorealistic Facial Animation

2. 前所未見的眼神和表情組合

研究人員指出，這可以實現(xiàn)前所未見的眼神和表情組合。這是如何實時結(jié)合并驅(qū)動的呢？

由于這是一個包含眼球模型和人臉模型的聯(lián)合模型，團隊同時解碼了面部幾何和紋理，移除覆蓋原來的眼球幾何，添加上述新的眼球幾何，旋轉(zhuǎn)眼球幾何以匹配注視點輸入，并將其放到面部。接下來團隊為眼球解碼紋理，并渲染完整的網(wǎng)格幾何渲染，優(yōu)化模型參數(shù)以匹配捕獲圖像，通過虛擬化身配準系統(tǒng)（Avatar Correspondence System）實現(xiàn)虛擬化身渲染和捕獲圖像的配準。

在訓練期間，團隊時使用包含九個攝像頭的頭顯來更好地捕獲面部。然后配準模型（coreespondence model）估計表情，相對于面部的頭顯姿態(tài)和注視方向，并將其作為輸入來為每個camera視點解碼網(wǎng)格和紋理。團隊接下來通過淺層神經(jīng)網(wǎng)絡（shallow network）將虛擬化身紋理轉(zhuǎn)換至頭顯域，渲染虛擬化身，并端到端地優(yōu)化整個系統(tǒng)，使用差分渲染來匹配頭顯圖像。

對于僅搭載三個攝像頭的頭顯，團隊構(gòu)建一個共享的特征映射來描述面部，然后回歸到表情代碼，以及針對每個眼睛的bounding box。利用位于bounding box的特征，團隊可以預測注視點，并產(chǎn)生獨立于表情的注視點，然后利用所述輸入來實時驅(qū)動虛擬化身。