利用 GPU 的強(qiáng)大功能實(shí)現(xiàn)虛擬沉浸式體驗(yàn)和龐大的數(shù)據(jù)處理

　　Kristof Beets，Imagination Technologies 技術(shù)前瞻副總裁

　　“當(dāng)Hiro走近街道時(shí)，他看到兩對(duì)年輕夫婦從Port Zero爬下，這是當(dāng)?shù)氐娜刖晨诎逗蛦诬夒娷?chē)站。他們可能正使用他們父母的電腦在Metaverse中進(jìn)行四人約會(huì)。當(dāng)然，他看到的不是真人。這都是他的計(jì)算機(jī)根據(jù)光纖電纜上的規(guī)定繪制的移動(dòng)插圖的一部分。人是像阿凡達(dá)一樣的軟件。他們是人們?cè)谠钪嬷邢嗷ソ涣鞯囊暵?tīng)身體。

　　--摘自《雪崩》，Neal Stephenson（Bantam，1992年）

　　一個(gè)全新的時(shí)代

　　自20世紀(jì)90年代以來(lái)，網(wǎng)絡(luò)空間更多沿著社交路線發(fā)展的概念已經(jīng)存在，而元宇宙一直是人們關(guān)注的焦點(diǎn)，像Epic Games、微軟和最近的Facebook（現(xiàn)在的Meta）等公司宣布計(jì)劃創(chuàng)建跨越物理和虛擬環(huán)境的互聯(lián)世界。

　　就目前所涉及的公司來(lái)看，這暗示了元宇宙涵蓋的范圍：工作、游戲、社交。不過(guò)，從教育到醫(yī)療再到政治領(lǐng)域，也有可能包括進(jìn)來(lái)。也許最好把它看作是一個(gè)虛擬的世界，在這里，現(xiàn)實(shí)世界中任何可能的事情都可能發(fā)生，同時(shí)現(xiàn)實(shí)中不可能發(fā)生的事情也有可能發(fā)生。

　　將這個(gè)雄心勃勃的概念變?yōu)楝F(xiàn)實(shí)確實(shí)帶來(lái)了挑戰(zhàn)。由于平臺(tái)、系統(tǒng)和應(yīng)用程序之間的互操作性將是全面運(yùn)作生態(tài)系統(tǒng)的關(guān)鍵，因此軟件需要不斷發(fā)展以推動(dòng)元宇宙的實(shí)現(xiàn)。在未來(lái)幾年中，我們可能會(huì)看到一些令人印象深刻的軟件跳躍式升級(jí)更新，這將允許以全新的、令人興奮的方式管理大量數(shù)據(jù)。

　　不過(guò)，軟件雖然是融合元宇宙實(shí)現(xiàn)的各種問(wèn)題的關(guān)鍵支柱，但硬件則是人們與這個(gè)新的在線世界互動(dòng)的主要方式。全身觸覺(jué)和虛擬現(xiàn)實(shí)裝備仍然是一個(gè)遙遠(yuǎn)的幻想，在向元宇宙的過(guò)渡期間，VR和AR技術(shù)很可能是體驗(yàn)它的主要手段。這為芯片行業(yè)帶來(lái)了重大機(jī)遇，特別是從GPU的角度來(lái)看，推動(dòng)大規(guī)模創(chuàng)新，幫助用戶沉浸其中，同時(shí)利用并行性來(lái)應(yīng)對(duì)數(shù)據(jù)挑戰(zhàn)。

　　元宇宙的當(dāng)前狀態(tài)

　　從技術(shù)上講，我們已經(jīng)看到了較小規(guī)模的”元宇宙“。 其中引人熱議的一個(gè)案例便是Epic Games的游戲《堡壘之夜》（Fortnite）。2019年Marshmello演唱會(huì)活動(dòng)聚集了1000多萬(wàn)人參加，這是一個(gè)純粹的社交活動(dòng)。隨后，許多其他活動(dòng)結(jié)合了幾個(gè)IP，例Ariana Grande的虛擬巡演“Rift Tour”，Marvel的《星核戰(zhàn)爭(zhēng)》（Nexus Wars）。同樣，在游戲領(lǐng)域，我們也看到Roblox推出了其”開(kāi)發(fā)者市場(chǎng)“，允許開(kāi)發(fā)人員將游戲、資產(chǎn)、插件、3D模型等貨幣化——有效地創(chuàng)造了在游戲內(nèi)工作實(shí)現(xiàn)賺錢(qián)的方法。

　　但元宇宙不僅僅是游戲。微軟是世界上最大的云供應(yīng)商之一，擁有廣泛的工作軟件和服務(wù)，這些軟件和服務(wù)通過(guò) Office 365和 領(lǐng)英跨越系統(tǒng)，坐擁數(shù)億用戶。隨著Facebook（Meta）剛剛宣布了其實(shí)現(xiàn)元宇宙的雄心勃勃計(jì)劃，我們開(kāi)始更好地了解生態(tài)系統(tǒng)可能是什么樣子——各種連續(xù)的互連數(shù)據(jù)流，通過(guò)平臺(tái)、系統(tǒng)和應(yīng)用程序傳輸，同時(shí)使用戶能夠真正存在于在線虛擬空間中。

　　AR和VR的潛力

　　在考慮人們?nèi)绾闻c元宇宙互動(dòng)時(shí)，XR硬件是顯而易見(jiàn)的答案。很容易想象，戴上VR頭顯，連接到《頭號(hào)玩家》（Ready Player One）中類(lèi)似的裝備，然后立即被傳送到您選擇的虛擬世界。

　　但是，VR頭顯仍處于起步階段，并且由于昂貴技術(shù)，其進(jìn)入門(mén)檻相對(duì)較高。簡(jiǎn)而言之，要實(shí)現(xiàn)完全沉浸式的虛擬環(huán)境，需要具有高刷新率的高分辨率顯示器。隨著目前正在開(kāi)發(fā)的智能創(chuàng)新技術(shù)，例如注視點(diǎn)渲染，頭顯將繼續(xù)發(fā)展——每次迭代都變得更加方便和高效。

　　就早期的元宇宙方面，AR已經(jīng)顯示出顯著的增長(zhǎng)。像Pokémon Go這樣的游戲。用戶通過(guò)3D掃描周?chē)默F(xiàn)實(shí)世界，以進(jìn)一步強(qiáng)化AR 的沉浸感。Niantic公司最近收購(gòu)了 6d.ai 和Scaniverse，突顯了該公司構(gòu)建AR硬件和軟件的計(jì)劃，這些硬件和軟件可以將真實(shí)環(huán)境和數(shù)字環(huán)境完全融合在一起。

　　微軟、蘋(píng)果、Facebook和谷歌也在開(kāi)發(fā)AR產(chǎn)品，這些產(chǎn)品可能會(huì)依賴持續(xù)的物理環(huán)境掃描來(lái)改善用戶沉浸感。而且，從2021年到2028年，預(yù)計(jì)復(fù)合年增長(zhǎng)率為43.8%（Grand View Research，2021年2月），AR市場(chǎng)預(yù)計(jì)將繼續(xù)快速增長(zhǎng)。

　　AR的真正潛力超越了游戲。該技術(shù)可能會(huì)產(chǎn)生重大的跨行業(yè)影響：從醫(yī)療培訓(xùn)到零售實(shí)施，再到商業(yè)物流，甚至是室內(nèi)設(shè)計(jì)。與VR相比，增強(qiáng)現(xiàn)實(shí)是一種更容易使用的解決方案，它可能是 向元宇宙過(guò)渡的最大驅(qū)動(dòng)力。

　　GPU、視覺(jué)沉浸感和克服數(shù)據(jù)挑戰(zhàn)

　　迄今為止，憑借數(shù)十年為100多億臺(tái)設(shè)備打造創(chuàng)新移動(dòng)GPU解決方案的經(jīng)驗(yàn)，Imagination認(rèn)識(shí)到圖形在創(chuàng)建真正沉浸式元宇宙世界中將發(fā)揮的重要作用。我們最近宣布的IMG CXT GPU是第一個(gè)將硬件光線追蹤引入移動(dòng)設(shè)備的解決方案，同時(shí)從硬件角度來(lái)看，它非常高效。

　　今年早些時(shí)候，我們建立了光線追蹤等級(jí)系統(tǒng)（RTLS），確定了現(xiàn)有和未來(lái)解決方案的六個(gè)級(jí)別— 從0級(jí)到5級(jí)。CXT在4級(jí)運(yùn)行，這意味著它不僅在硬件上執(zhí)行邊界卷層次結(jié)構(gòu)（BVH）光線遍歷，而且還在芯片上執(zhí)行光線相干性排序。這使我們能夠?qū)ρ赝环较蛐羞M(jìn)的光線進(jìn)行分組，并充分利用 GPU 的并行計(jì)算能力——類(lèi)似于基于分塊的渲染解決方案，從而提高整體 ALU 利用率和測(cè)試效率。

　　短期內(nèi)，像CXT這樣的解決方案可以讓公司將光線追蹤帶到移動(dòng)AR環(huán)境中，這意味著可以跨程序提供更逼真的渲染數(shù)字對(duì)象。

　　隨著XR硬件的發(fā)展，我們將開(kāi)始看到混合處理解決方案，其中移動(dòng)GPU可以嵌入到頭顯本身中。在這種情況下，功率與電池消耗保持平衡將比以往任何時(shí)候都更加重要 。CXT 在這方面具有獨(dú)特的優(yōu)勢(shì)，因?yàn)樗且环N可擴(kuò)展的解決方案，使SoC制造商能夠達(dá)到高達(dá)9TFLOPS的FP32光柵性能和超過(guò)7.2GRay / s的光線追蹤性能，同時(shí)提供比2級(jí)和3級(jí)解決方案高出2.5倍的功率效率。

　　當(dāng)然，AR和VR技術(shù)只是元宇宙的冰山一角。生態(tài)系統(tǒng)本身可能會(huì)帶來(lái)許多軟件和數(shù)據(jù)處理挑戰(zhàn)，以及令人印象深刻的創(chuàng)新。近年來(lái)，GPU已被成功用于解決大數(shù)據(jù)問(wèn)題，因?yàn)樗鼈兛梢酝瑫r(shí)執(zhí)行數(shù)千個(gè)線程，從而比傳統(tǒng)CPU具有更高的輸出和內(nèi)存帶寬。GPU還可以通過(guò)Imagination的相干性排序硬件等創(chuàng)新來(lái)渲染數(shù)字世界，從而釋放更高的效率。換句話說(shuō)，圖形處理單元將在元宇宙中如何管理數(shù)據(jù)方面發(fā)揮重要作用。

　　雖然真正的元宇宙需要一段時(shí)間才能實(shí)現(xiàn)，但進(jìn)入該行業(yè)是一個(gè)激動(dòng)人心的時(shí)刻。 競(jìng)爭(zhēng)孕育著創(chuàng)新，隨著越來(lái)越多的玩家加入這個(gè)全新在線時(shí)代的競(jìng)爭(zhēng)，我們肯定會(huì)看到一些優(yōu)秀軟件、GPU、CPU和AI的發(fā)展。