如何讓AR／VR設(shè)備更易于讓消費者接受一直是各大廠商需要應(yīng)對的問題，除了價格外，設(shè)備的舒適度、功能和效果都是消費者很看重的因素。而當(dāng)前市場上的設(shè)備大部分從外形上來看都較為笨重，也并不適合長時間佩戴。從視覺效果來說，越好的設(shè)備就需要越強的運算能力并消耗更大的電量，這也就意味著設(shè)備在外形設(shè)計上處處受制。那么該如何降低設(shè)備功耗，令設(shè)備可以更加輕便的同時又不影響圖像質(zhì)量？

為此，F(xiàn)acebook的研究部門Facebook Reality Labs基于神經(jīng)網(wǎng)絡(luò)開發(fā)了一款名為DeepFovea的圖形渲染系統(tǒng)，以應(yīng)對這個挑戰(zhàn)。以下是Facebook在其博客上發(fā)表的完整文章： 在Facebook Reality Labs，我們正在建立一個未來，讓現(xiàn)實世界和虛擬世界可以自由地混合在一起，使我們的日常生活更輕松，生產(chǎn)力更高，并相互連接在一起。功耗是實現(xiàn)該未來的挑戰(zhàn)之一。為了獲得可以在任意長時間（包括整天）內(nèi)舒適佩戴的增強現(xiàn)實和虛擬現(xiàn)實（AR ／ VR）設(shè)備，VR頭戴設(shè)備都必須具有更高的能效，而AR眼鏡必須消耗較少的電量。作為構(gòu)建達到更高級別的AR ／ VR系統(tǒng)的一部分，我們正在開發(fā)可顯著降低功耗而又不影響圖像質(zhì)量的圖形系統(tǒng)。

DeepFovea是我們?yōu)閼?yīng)對這一挑戰(zhàn)而開發(fā)的幾種基于神經(jīng)網(wǎng)絡(luò)的方法之一。DeepFovea是一種渲染系統(tǒng)，它應(yīng)用了最近發(fā)明的AI生成對抗網(wǎng)絡(luò)（GAN）概念，以模仿我們的外圍視覺在日常生活中感知世界的方式，并利用可感知匹配的架構(gòu)來提供前所未有的圖形效率。

DeepFovea的神經(jīng)渲染遠遠超出了當(dāng)今Oculus產(chǎn)品中使用的傳統(tǒng)的凹版渲染系統(tǒng)，從而可以生成與全分辨率圖像在視覺上無法區(qū)分的圖像，而渲染的像素數(shù)卻不到10％?，F(xiàn)有的集中式渲染方法需要渲染的像素大約是全分辨率圖像的一半，因此DeepFovea降低渲染要求的數(shù)量級代表了感知渲染的新里程碑。 我們首先在2019年11月的SIGGRAPH Asia上展示了DeepFovea。今天，我們將完整的演示發(fā)布到我們的DeepFovea存儲庫中，以幫助圖形研究社區(qū)加深對最新感知渲染的探索。

DeepFovea：以AI為動力的外圍視覺建模

DeepFovea的關(guān)鍵是利用人眼的生理功能。當(dāng)人們的眼睛直接看著物體時，來自該物體的光子會落在視網(wǎng)膜的中央凹區(qū)域，簡稱中央凹。中央凹是視網(wǎng)膜中唯一具有高分辨率的部分，并且它僅占整個視網(wǎng)膜中很小一部分。在人眼超過150度的視野中，最高分辨率的區(qū)域僅跨越3度，在距中央凹中心10度以內(nèi)的分辨率下降了一個數(shù)量級。我們覺得我們擁有更廣闊的高分辨率視野，但這是因為我們的大腦保存了周圍環(huán)境的模型并填充了缺失的細節(jié)，同時又將中央凹迅速移至我們?nèi)魏胃信d趣的對象上。實際上，我們只有一個很小的高分辨率視野區(qū)域，而對圍繞它的一切事物的感知卻非常模糊。

但這并不是說外圍視覺并不重要。外圍視覺對于平衡、運動檢測和周圍環(huán)境感知非常重要，并可以提示大腦下一步該去哪里。但是它區(qū)分細節(jié)的能力受到極大限制。 DeepFovea使用最少的必要數(shù)據(jù)量來生成與視網(wǎng)膜分辨率匹配的圖像。給定一個稀疏渲染的圖像，其可變分辨率與在任何給定時刻指向中央凹的位置的每個點處的視網(wǎng)膜分辨率相匹配，DeepFovea會推斷丟失的數(shù)據(jù)。至關(guān)重要的是，在給定視網(wǎng)膜的分辨率和圖像處理特性的情況下，所產(chǎn)生的結(jié)果在感覺上與全分辨率圖像沒有區(qū)別。但這并不意味著結(jié)果是相同的－實際上，如在下例中看到的那樣，當(dāng)人們使用中央凹觀察時，所看到的圖像與全分辨率圖像通常并不接近－但外圍視覺的較低分辨率處理可以讓人察覺不到差異。

DeepFovea通過使用生成對抗網(wǎng)絡(luò)（GAN）推斷丟失的外圍信息。我們通過提供數(shù)百萬個具有人為降低的外圍質(zhì)量的真實視頻來訓(xùn)練DeepFovea的神經(jīng)網(wǎng)絡(luò)。人工降級的視頻模擬了外圍圖像的降級，基于GAN的設(shè)計可幫助網(wǎng)絡(luò)根據(jù)所看到的所有視頻的統(tǒng)計信息來學(xué)習(xí)如何填充缺失的細節(jié)。 結(jié)果，渲染器可以少渲染幾個數(shù)量級的像素，甚至更少——像素密度可以在60×40度視場的外圍減少多達99％的像素，從而節(jié)省了大量的時間功耗。得益于DeepFovea和眼動追蹤技術(shù)，觀看者才能以完全相同的質(zhì)量感知完全相同的場景。 DeepFovea還可以確保人眼不會察覺到周圍的閃爍，混疊和其他視頻偽像。

此動圖演示了DeepFovea如何在頭顯設(shè)備佩戴者的注視（由光標表示）下，在場景中的元素之間移動時重建偏心的視覺效果。觀察輸入像素的數(shù)量如何遠離中心視覺區(qū)域減少，從而匹配視網(wǎng)膜的分辨率，然后DeepFovea如何在像素落在視網(wǎng)膜外圍區(qū)域的情況下以與全分辨率呈現(xiàn)的像素不同，但在感知上卻相同的方式重建圖像，且最終效果與理想圖像無法區(qū)分。

未來是光明且高效的

我們的最終目標是使實時集中式渲染在輕便、高能效的AR ／ VR設(shè)備上運行，該設(shè)備可以讓用戶整天佩戴。DeepFovea建立了新的感知渲染效率標準，這標志著朝向該目標邁出的重要一步，該方法證明了感知的質(zhì)量損失，同時渲染的像素數(shù)不到傳統(tǒng)渲染器的10％。這種方法也與硬件無關(guān)，這使DeepFovea能夠與各種AR ／ VR研究系統(tǒng)兼容。

盡管DeepFovea解鎖了在AR和VR中進行有效渲染的重要方法，但這僅僅是探索超低功耗感知渲染的開始。通過發(fā)布除我們的研究論文外的DeepFovea演示，我們希望為有興趣為感知和神經(jīng)渲染技術(shù)的發(fā)展做出貢獻的圖形和視覺科學(xué)研究人員提供一個有用的框架。

責(zé)任編輯：gt