考慮到當(dāng)今流媒體技術(shù)的流行程度，人們很容易忘記，按需、全球可用的應(yīng)用程序曾經(jīng)被認(rèn)為是一個(gè)激進(jìn)的想法。但隨著 AR 和 VR 的普及，將流媒體推得更遠(yuǎn)的競(jìng)爭(zhēng)還在繼續(xù)。隨著對(duì)真實(shí)內(nèi)容和消費(fèi)級(jí)硬件的需求，一個(gè)關(guān)鍵的挑戰(zhàn)隨之而來(lái)：如何在不影響沉浸式體驗(yàn)的質(zhì)量和性能要求的情況下，構(gòu)建在任何設(shè)備上都看起來(lái)不錯(cuò)的應(yīng)用程序？

為了幫助解決這個(gè)問(wèn)題， Innoactive 的團(tuán)隊(duì)已經(jīng)將 NVIDIA CloudXR 流媒體解決方案集成到他們的 VR 應(yīng)用程序部署平臺(tái) Innoactive Portal 中。 SAP 、德勤、林德工程（ Linde Engineering ）和大眾汽車（ Volkswagen Group ）等客戶正在使用該平臺(tái)，隨時(shí)隨地為用戶提供無(wú)縫的沉浸式培訓(xùn)。

Portal 是一個(gè)以用戶為中心的企業(yè)級(jí)部署平臺(tái)，用于管理和訪問(wèn) VR 內(nèi)容，只需從任何設(shè)備上單擊一下即可。門戶的獨(dú)特之處在于能夠跨平臺(tái)和設(shè)備部署內(nèi)容，包括 PC VR 、獨(dú)立 VR 和 PC 3D 應(yīng)用程序。

使用NVIDIA CloudXR SDK 的服務(wù)器和客戶端組件，在云計(jì)算框架的改進(jìn)下，門戶可以為 PC VR 和流媒體應(yīng)用程序構(gòu)建一對(duì)一耳機(jī)或其他低計(jì)算設(shè)備。最終用戶所做的就是從他們的庫(kù)中選擇應(yīng)用程序來(lái)流式處理它。

克服 XR 的分銷瓶頸

圖 1 Innoactive Portal 一鍵式用戶界面，用于啟動(dòng)虛擬現(xiàn)實(shí) 。

雖然還有其他幾種企業(yè)虛擬現(xiàn)實(shí)平臺(tái)，但門戶網(wǎng)站通過(guò)緩解 XR 內(nèi)容分發(fā)過(guò)程中最關(guān)鍵的三個(gè)瓶頸，讓創(chuàng)作者和最終用戶都能輕松完成這一過(guò)程：

該平臺(tái)的 安全云基礎(chǔ)設(shè)施 為客戶提供了對(duì)其內(nèi)容和用戶的集中控制，確保只有需要的人才能訪問(wèn)。

one-click streaming 體系結(jié)構(gòu)讓不熟悉虛擬現(xiàn)實(shí)導(dǎo)航的用戶可以輕松使用內(nèi)容。

NVIDIA CloudXR 支持更復(fù)雜的分布模型，如門戶，導(dǎo)致幾個(gè)［VZX333 ］，像一次構(gòu)建應(yīng)用程序的能力，并將其部署到任何設(shè)備，任何地方。

一段時(shí)間以來(lái)，使用 NVIDIA CloudXR 來(lái)流式處理 VR 應(yīng)用程序在技術(shù)上是可行的，但 Innoactive 希望為臨時(shí)甚至首次使用 VR 的用戶提供此功能。為了實(shí)現(xiàn)這一目標(biāo)，他們面臨著一系列挑戰(zhàn)：

當(dāng)用戶想要開始云計(jì)算虛擬現(xiàn)實(shí)體驗(yàn)時(shí)，他們需要一臺(tái)合適的 NVIDIA GPU 驅(qū)動(dòng)的機(jī)器，可供他們按需使用。

這臺(tái)運(yùn)行 NVIDIA CloudXR 的服務(wù)器不僅需要良好的性能才能執(zhí)行渲染，還必須對(duì)全球用戶可用。

同時(shí)，盡可能了解資源也很重要。為了接觸到廣泛的受眾，所有這些都必須以最小的復(fù)雜性為用戶實(shí)現(xiàn)。

為了提供這種零摩擦體驗(yàn)，需要在NVIDIA CloudXR SDK 的客戶端和服務(wù)器端構(gòu)建上 NYNODICAL 。

為 NVIDIA CloudXR 構(gòu)建可擴(kuò)展的服務(wù)器體系結(jié)構(gòu)

在服務(wù)器上，無(wú)論有多少用戶試圖訪問(wèn)機(jī)器，或者這些用戶需要訪問(wèn)的位置或時(shí)間，都必須確保每個(gè)用戶都可以按需使用由 NVIDIA GPU 驅(qū)動(dòng)的機(jī)器。

依賴云服務(wù)提供商，比如 Amazon 網(wǎng)絡(luò)服務(wù)（ AWS ） Microsoft Azure 對(duì)于計(jì)算資源來(lái)說(shuō)是一個(gè)邏輯解決方案。然而，門戶網(wǎng)站的建設(shè)指導(dǎo)原則是作為一個(gè)開放平臺(tái)，支持所有類型的虛擬現(xiàn)實(shí)內(nèi)容以及要部署的所有類型的環(huán)境。

云提供商的這種不可知論意味著需要一種服務(wù)，能夠在任何一種云服務(wù)上支持云渲染機(jī)。反過(guò)來(lái)，這為已經(jīng)預(yù)先決定使用其中一種的客戶提供了最大的靈活性。它還使 Portal 能夠獨(dú)立于相應(yīng)的提供商，切換到另一個(gè)延遲或性能更好的數(shù)據(jù)中心，從而為最終用戶提供最大的覆蓋范圍和性能。

因此， Innoactive 依賴于為任何云提供商構(gòu)建帶有預(yù)裝軟件組件的定制虛擬機(jī)（ VM ）映像。它們使用一個(gè)名為 Packer 的工具，并允許使用相應(yīng)云提供商的虛擬機(jī)規(guī)模集功能對(duì)生成的虛擬機(jī)進(jìn)行規(guī)模調(diào)整。

Innoactive 為今天而建，為明天而規(guī)劃，確保這一過(guò)程可以在未來(lái)復(fù)制，并適應(yīng)與新云提供商的合作。服務(wù)現(xiàn)在能夠在任何需要的時(shí)候和任何地方動(dòng)態(tài)分配渲染資源。

圖 2 為云不可知的 NVIDIA CloudXR 服務(wù)器定制 VM 映像構(gòu)建管道

在使用云渲染 VR 進(jìn)行生產(chǎn)時(shí)，遠(yuǎn)程渲染資源的成本必須盡可能低，以提供積極的商業(yè)案例。與此同時(shí)，確保良好的用戶體驗(yàn)需要高水平的性能，而這反過(guò)來(lái)又可能很快變得昂貴。因此，門戶團(tuán)隊(duì)的任務(wù)是找到最佳的成本和性能權(quán)衡。

除了虛擬機(jī)的規(guī)模之外，一個(gè)巨大的成本驅(qū)動(dòng)因素是它的正常運(yùn)行時(shí)間。目標(biāo)是支付所需的費(fèi)用，而不是更多。然而，等待太長(zhǎng)時(shí)間啟動(dòng)機(jī)器可能會(huì)讓啟動(dòng)過(guò)程感覺笨拙或不及時(shí)。

由于門戶的按需設(shè)計(jì)，減少用戶等待時(shí)間是讓他們盡快進(jìn)入云渲染體驗(yàn)的關(guān)鍵。門戶會(huì)檢測(cè)用戶何時(shí)開始使用它，并準(zhǔn)備虛擬機(jī)，以期待他們啟動(dòng)虛擬現(xiàn)實(shí)應(yīng)用程序。這大大縮短了他們啟動(dòng)應(yīng)用程序時(shí)的加載時(shí)間，從幾分鐘縮短到幾秒鐘。

云渲染會(huì)話完成后，門戶網(wǎng)站的云渲染編排服務(wù)會(huì)使用相應(yīng)云提供商的端點(diǎn)自動(dòng)刪除機(jī)器以進(jìn)行縮放。這再次確保只支付正常運(yùn)行時(shí)間，而不是死機(jī)時(shí)間。門戶可以根據(jù)用例調(diào)整其呈現(xiàn)功能。例如，它可以確保 GPU 渲染池在計(jì)劃在公司進(jìn)行虛擬現(xiàn)實(shí)培訓(xùn)的日子里足夠大，同時(shí)在低活動(dòng)時(shí)最小化渲染池的大小。

要優(yōu)化性價(jià)比，您應(yīng)該了解客戶和地區(qū)差異。在會(huì)話過(guò)程中保持最小的延遲是保證良好體驗(yàn)的最重要因素之一。通常，服務(wù)器離最終用戶越近，用戶輸入和流式應(yīng)用程序之間的延遲和延遲就越低。

為了確保用戶被分配到最近的服務(wù)器，使用了多種算法，其中一個(gè)例子是 IP 查找，以縮小用戶的地理位置。未來(lái)，依靠 5G 網(wǎng)絡(luò)和邊緣計(jì)算將進(jìn)一步提高性能。

圖 3 。門戶云渲染體系結(jié)構(gòu) 。

通過(guò)前面提到的體系結(jié)構(gòu)和優(yōu)化， Portal 支持有意使用 NVIDIA CloudXR 遠(yuǎn)程呈現(xiàn) VR 應(yīng)用程序的用戶。門戶負(fù)責(zé)在云中分配渲染資源，將期望的 VR 內(nèi)容同步到遠(yuǎn)程機(jī)器，并執(zhí)行NVIDIA CloudXR 服務(wù)器，以便用戶可以連接。用戶只需選擇所需的 VR 內(nèi)容。

雖然它本身提供了價(jià)值，但擁有一臺(tái)預(yù)配置的、隨時(shí)可以滾動(dòng)的遠(yuǎn)程渲染機(jī)只是等式的一半。它仍然要求用戶啟動(dòng)他們的流媒體客戶端，并通過(guò)輸入服務(wù)器 IP 地址手動(dòng)配置它，這對(duì)新手來(lái)說(shuō)并不舒服。

將 NVIDIA CloudXR 客戶端構(gòu)建到門戶

通過(guò)在客戶端應(yīng)用程序中集成NVIDIA CloudXR SDK ，門戶取消了這些手動(dòng)步驟以提供平滑的用戶體驗(yàn)。為了讓用戶在整個(gè)流程的每一步都能得到更新，門戶網(wǎng)站使用了建立在 ASP 。網(wǎng)芯信號(hào)機(jī) 之上的 WebSocket ?？蛻舳藨?yīng)用程序的用戶界面也是使用 Unity 構(gòu)建的，以便在提供良好用戶體驗(yàn)的同時(shí)實(shí)現(xiàn)快速迭代。

這是伴隨著NVIDIA CloudXR SDK 的組合，它是用 C ++ NDK 編寫的，以及一個(gè)交互式的統(tǒng)一場(chǎng)景進(jìn)入一個(gè)門戶客戶端應(yīng)用程序的挑戰(zhàn)。其結(jié)果是一個(gè)單一的、模塊化的 Android 應(yīng)用程序，具有多種活動(dòng)，可以輕松加載到獨(dú)立的虛擬現(xiàn)實(shí)耳機(jī)上，如 Meta Quest 2 、 Vive Focus 3 或 Pico Neo 3 。

當(dāng)遠(yuǎn)程渲染服務(wù)器可用時(shí)，用戶界面將指導(dǎo)用戶。然后它通過(guò)NVIDIA CloudXR 客戶端自動(dòng)連接到它，并確保 VR 應(yīng)用程序在服務(wù)器上正確啟動(dòng)，保證無(wú)摩擦地進(jìn)入流式體驗(yàn)。

業(yè)務(wù)邏輯層用原生 Android （ Java ）編寫，包含與 Innoactive 后端服務(wù)來(lái)回通信的邏輯，并處理整個(gè)應(yīng)用程序狀態(tài)。它使用 Unity 附帶的名為 UnitySendMessage 的專有協(xié)議更新用戶界面層，并在需要時(shí)初始化本機(jī) NVIDIA CloudXR 客戶端庫(kù)。

本機(jī) NVIDIA CloudXR 活動(dòng)被擴(kuò)展為使用 Java 本機(jī)接口（ JNI ）將生命周期事件傳回業(yè)務(wù)層。本文后面的示例代碼顯示了這一點(diǎn)。為了正確地將 native Unity 和 NVIDIA CloudXR 活動(dòng)彼此隔離開來(lái)，這兩種活動(dòng)都設(shè)計(jì)為在專用的 Android process 中運(yùn)行。

圖 4 。NVIDIA CloudXR 客戶端應(yīng)用層體系結(jié)構(gòu)。

下面的代碼示例顯示了 Android 代碼與 NVIDIA CloudXR 之間的接口。首先， Android 代碼示例（ Java ）：

import android.app.Activity; public class MainActivity extends Activity implements ServerAvailableInterface { // load native NVIDIA CloudXR client library (*.aar) static { System.loadLibrary("CloudXRClient"); } static native void initCloudXR(String jcmdline); @Override public void onServerReady(String serverIpAddress) { // initializes the native CloudXR client after server ip is known String arguments = String.format("-s %s", serverIpAddress); initCloudXR(arguments); } public void onConnected() { // called by native CloudXR activity when it is successfully connected System.out.println("Connected to CloudXR server") }

第二， Vidia CloudXR 代碼示例（ C ++）：

  #include 
#include 
#include  // ... // called whenever the CloudXR client state changes
void Client::UpdateClientState(cxrClientState state, cxrStateReason reason) { switch (state) { // ... case cxrClientState_StreamingSessionInProgress: OnCloudXRConnected(); break; // ... }
} // Fired when the CloudXR client has established a connection to the server
void Client::OnCloudXRConnected() { jmethodID jOnConnected = env ->GetMethodID(mainActivity, "onConnected", "()V"); env->CallVoidMethod(mainActivity, jOnConnected);
} // ...

最終的客戶端應(yīng)用程序提供了一個(gè)直觀的界面，其中包含了選擇所需 VR 內(nèi)容所需的最少用戶交互。這個(gè)界面可以從獨(dú)立于虛擬現(xiàn)實(shí)的第二個(gè)屏幕設(shè)備（通常是筆記本電腦或手機(jī)）訪問(wèn)。

通過(guò)門戶的實(shí)時(shí)通信，所有連接的客戶端（無(wú)論設(shè)備如何）都會(huì)在加載云渲染會(huì)話時(shí)顯示相同的狀態(tài)更新。用戶的內(nèi)容在虛擬現(xiàn)實(shí)中準(zhǔn)備好后，會(huì)收到推送通知。完成會(huì)話后，用戶可以直接繼續(xù)下一個(gè)流式會(huì)話，而無(wú)需退出客戶端應(yīng)用程序。

將門戶網(wǎng)站的服務(wù)與擴(kuò)展的 NVIDIA CloudXR 客戶端捆綁在一起，為用戶提供了一個(gè)全球可擴(kuò)展的解決方案，用戶只需單擊一下即可從任何設(shè)備訪問(wèn)其 VR 內(nèi)容庫(kù)。 NVIDIA CloudXR 的門戶網(wǎng)站改變了客戶部署基于 PC 的虛擬現(xiàn)實(shí)的方式。在每個(gè)耳機(jī)類型的客戶只有一個(gè)平臺(tái)的情況下， Portal 現(xiàn)在可以處理復(fù)雜的問(wèn)題。

易于使用的一鍵式前端支持他們擴(kuò)展基于虛擬現(xiàn)實(shí)的用例，比如培訓(xùn)經(jīng)常是虛擬現(xiàn)實(shí)新手的員工。在技術(shù)層面上，客戶可以靈活規(guī)劃耳機(jī)的部署。由于提供高質(zhì)量體驗(yàn)所需的強(qiáng)大計(jì)算能力，它們不再局限于基于 PC 的虛擬現(xiàn)實(shí)。

現(xiàn)在，云機(jī)器的強(qiáng)大功能使得通過(guò) NVIDIA CloudXR 門戶在獨(dú)立設(shè)備上提供高端渲染。

關(guān)于作者

William Cannady 是 NVIDIA enterprise XR 團(tuán)隊(duì)的技術(shù)產(chǎn)品經(jīng)理。他專注于 XR 產(chǎn)品的技術(shù)方面，與合作伙伴和客戶密切合作。

Benedikt Reiser 是 Innoactive 的首席技術(shù)官。他專注于將虛擬現(xiàn)實(shí)和 AR 等沉浸式技術(shù)引入企業(yè)，通過(guò)設(shè)計(jì)和交付解決方案，為最終用戶提供令人驚嘆的體驗(yàn)，同時(shí)平穩(wěn)、安全地處理底層的復(fù)雜性。

Gustavo Quiroz 是 Innoactive 的高級(jí)軟件工程師。他熱衷于 XR 、電子游戲和互動(dòng)技術(shù)。他最近的一個(gè)項(xiàng)目是將 NVIDIA CloudXR 集成到企業(yè)平臺(tái)中，用于虛擬現(xiàn)實(shí)部署。

審核編輯：郭婷