來(lái)自蘇黎世聯(lián)邦理工學(xué)院和 Meta 虛擬現(xiàn)實(shí)實(shí)驗(yàn)室的研究者聯(lián)合提出了一個(gè)用稀疏運(yùn)動(dòng)傳感設(shè)備進(jìn)行全身位姿估計(jì)與追蹤的方案。

近日，Meta Connect 大會(huì)上「有腿」的虛擬世界人物形象引起機(jī)器學(xué)習(xí)和VR社區(qū)的高度關(guān)注。人們意識(shí)到，在構(gòu)建元宇宙的美好愿景中，虛擬形象的生動(dòng)逼真是非常重要的。

Meta Connect 大會(huì)上扎克伯格展示了自己的虛擬形象。

以前，虛擬人物形象通常只有上半身，這嚴(yán)重破壞了用戶的沉浸感，降低了整體的使用體驗(yàn)。

為了解決這個(gè)問(wèn)題，來(lái)自蘇黎世聯(lián)邦理工學(xué)院 (ETH Zurich) 和 Meta 虛擬現(xiàn)實(shí)實(shí)驗(yàn)室 (Reality Labs at Meta) 的學(xué)者聯(lián)手提出了 AvatarPoser，一個(gè)用稀疏運(yùn)動(dòng)傳感設(shè)備進(jìn)行全身位姿估計(jì)與追蹤的方案。該工作被計(jì)算機(jī)視覺(jué)頂會(huì) ECCV 2022 接收，論文和代碼均已開(kāi)源。

論文鏈接：https://arxiv.org/abs/2207.13784

代碼鏈接：https://github.com/eth-siplab/AvatarPoser

研究背景

當(dāng)前的混合現(xiàn)實(shí)頭戴式顯示器和手持控制器可以追蹤用戶在現(xiàn)實(shí)世界中的頭部和手的位置和姿勢(shì)，以便用戶在增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)場(chǎng)景中進(jìn)行交互。雖然這足以支持用戶提供輸入信息，但是通常只將用戶的虛擬形象局限于上半身。因此，當(dāng)前 VR 系統(tǒng)只能提供浮動(dòng)的虛擬形象，其局限性在協(xié)作環(huán)境中尤為明顯。為了使用稀疏輸入源估計(jì)全身姿勢(shì)，先前的工作在腰或腿腳位置加入了額外的追蹤器和傳感器，但這增加了設(shè)備的復(fù)雜性并限制了實(shí)際應(yīng)用的便攜性。

AvatarPoser 是第一個(gè)基于深度學(xué)習(xí)來(lái)通過(guò)用戶頭部和手部的運(yùn)動(dòng)輸入來(lái)預(yù)測(cè)世界坐標(biāo)中的全身姿態(tài)的方法。該研究用 Transformer 編碼器從輸入信號(hào)中提取深度特征，并將人體的全局運(yùn)動(dòng)與局部關(guān)節(jié)運(yùn)動(dòng)解耦，以引導(dǎo)整體的姿態(tài)估計(jì)。此外，作者還將 Transformer 和逆運(yùn)動(dòng)學(xué)結(jié)合，來(lái)優(yōu)化手臂關(guān)節(jié)的位置，以匹配手的真實(shí)位置。在作者的實(shí)驗(yàn)評(píng)估中，AvatarPoser 在大型動(dòng)作捕捉數(shù)據(jù)集 AMASS 的評(píng)估中取得了最佳結(jié)果。該方法的極快的推理速度也支持實(shí)時(shí)操作，提供了一個(gè)實(shí)用的接口來(lái)支持元界應(yīng)用的整體的虛擬人表示和控制。

相關(guān)工作

文章和此前的相關(guān)工作 Final IK, LoBSTr (Eurographics 2021), CoolMoves (IMWUT 2021), VAE-HMD (ICCV 2021)進(jìn)行了比較。Final IK 是基于物理模型的標(biāo)準(zhǔn)商業(yè)解決方案。然而，它只能給出中性的下半身位置，因此產(chǎn)生了看起來(lái)不真實(shí)的運(yùn)動(dòng)預(yù)測(cè)。LoBSTr 使用 GRU 模型根據(jù)頭部、手部和腰部的跟蹤信號(hào)預(yù)測(cè)下半身，并通過(guò) IK 求解器計(jì)算上半身姿勢(shì)。

但是，這種方法需要額外的腰部跟蹤器。CoolMoves 是第一個(gè)只使用來(lái)自頭戴式設(shè)備和手控制器的輸入來(lái)估計(jì)全身姿勢(shì)的方法。然而，所提出的基于 KNN 的方法只能在小數(shù)據(jù)中插值估計(jì)姿勢(shì)，且需要運(yùn)動(dòng)類型已知。VAE-HMD 是最近提出的一種基于 VAE 的方法，可以從稀疏輸入中生成合理且多樣化的身體姿勢(shì)。然而，該方法所使用的信息都是相對(duì)于與腰部位置的，這相當(dāng)于使用了腰部的位置作為第四個(gè)輸入。因此，用稀疏傳感設(shè)備追蹤虛擬人全身的方法主要存在三個(gè)局限性：

(1) 大多數(shù)通用商用程序使用逆向運(yùn)動(dòng)學(xué)（IK）來(lái)估計(jì)全身姿勢(shì)。這通常會(huì)產(chǎn)生看似靜態(tài)且不自然的人體運(yùn)動(dòng)，尤其是對(duì)于遠(yuǎn)離運(yùn)動(dòng)鏈中已知關(guān)節(jié)位置的那些關(guān)節(jié)。?

(2) 盡管目標(biāo)是僅使用來(lái)自頭部和手部的輸入，但現(xiàn)有的基于深度學(xué)習(xí)的方法隱含地使用了腰部姿勢(shì)的信息。然而，大多數(shù)便攜式混合現(xiàn)實(shí)系統(tǒng)無(wú)法進(jìn)行腰部跟蹤，這增加了全身估計(jì)的難度。

(3) 即使使用腰部追蹤設(shè)備，先前方法估計(jì)的下半身動(dòng)畫也會(huì)經(jīng)常包含抖動(dòng)和滑動(dòng)偽影。這些往往是由腰部跟蹤器的無(wú)意運(yùn)動(dòng)引起的，該跟蹤器連接在腹部，因此與實(shí)際腰部關(guān)節(jié)的移動(dòng)方式不同。

方法介紹

AvatarPoser 的整體框架如圖 2 所示。這是一個(gè)時(shí)間序列的網(wǎng)絡(luò)結(jié)構(gòu)，它將來(lái)自稀疏跟蹤器的前 N - 1 幀和當(dāng)前第 N 幀的 6D 信號(hào)作為輸入，并預(yù)測(cè)人體的全局方向以及每個(gè)關(guān)節(jié)相對(duì)于其父節(jié)點(diǎn)的局部相對(duì)旋轉(zhuǎn)。具體來(lái)說(shuō)，AvatarPoser 由四個(gè)組件組成：Transformer 編碼器、穩(wěn)定器、正向運(yùn)動(dòng)學(xué) (FK) 模塊和逆向運(yùn)動(dòng)學(xué) (IK) 模塊。作者設(shè)計(jì)的網(wǎng)絡(luò)使得每個(gè)組件都可以解決特定的任務(wù)。

Transformer 編碼器: 由于 Transformer 在效率、可擴(kuò)展性和長(zhǎng)距離建模能力方面具有優(yōu)勢(shì)，本文的方法建立在其基礎(chǔ)上，從時(shí)間序列數(shù)據(jù)中提取有用的信息，用自注意力 (self-attention) 機(jī)制來(lái)清楚地捕獲數(shù)據(jù)中的全局遠(yuǎn)程依賴關(guān)系。具體來(lái)說(shuō)，給定輸入信號(hào)，首先應(yīng)用線性嵌入將特征豐富到 256 維。接下來(lái)，Transformer 編碼器從頭顯和手部的先前時(shí)間步長(zhǎng)中提取深度姿勢(shì)特征，這些特征分別由用于全局運(yùn)動(dòng)預(yù)測(cè)的穩(wěn)定器和用于局部姿勢(shì)估計(jì)的 2 層多層感知器 (MLP) 共享。Transformer 中的 head 的數(shù)量設(shè)置為 8，自注意力層的數(shù)量設(shè)置為 3。

穩(wěn)定器 Stabilizer: 穩(wěn)定器是一個(gè) 2 層多層感知機(jī)，它接受來(lái)自 Transformer 編碼器生成的 256 維姿勢(shì)特征作為輸入，負(fù)責(zé)輸出人體的全局運(yùn)動(dòng)方向（也是腰部的旋轉(zhuǎn)方向）。因此，穩(wěn)定器通過(guò)將全局方向與姿勢(shì)特征解耦并通過(guò)身體運(yùn)動(dòng)鏈從頭部位置獲得全局平移來(lái)負(fù)責(zé)全局運(yùn)動(dòng)導(dǎo)航。盡管通過(guò)運(yùn)動(dòng)鏈從給定的頭部姿勢(shì)計(jì)算全局方向也是一種只管的解決方案，但用戶的頭部旋轉(zhuǎn)通常獨(dú)立于其他關(guān)節(jié)的運(yùn)動(dòng)， 因此這種方法會(huì)導(dǎo)致估計(jì)的整體方向?qū)︻^部的旋轉(zhuǎn)很敏感。比如考慮一下用戶站著不動(dòng)，只轉(zhuǎn)動(dòng)頭部的場(chǎng)景，全局方向很可能會(huì)有很大的誤差，這往往會(huì)導(dǎo)致生成的虛擬人浮動(dòng)在空中，如圖 3 的左邊圖所示。

正向運(yùn)動(dòng)學(xué) (FK) 模塊：正向運(yùn)動(dòng)學(xué) (FK) 模塊將預(yù)測(cè)的局部旋轉(zhuǎn)作為輸入，計(jì)算給定人體骨骼模型的所有關(guān)節(jié)位置。雖然基于旋轉(zhuǎn)的方法無(wú)需重新投影到骨架約束以避免骨骼拉伸和無(wú)效配置即可提供穩(wěn)健的結(jié)果，但它們?nèi)菀籽刂\(yùn)動(dòng)鏈累積位置誤差。在沒(méi)有 FK 模塊的情況下訓(xùn)練網(wǎng)絡(luò)只能最小化關(guān)節(jié)旋轉(zhuǎn)角度，但不會(huì)在優(yōu)化過(guò)程中考慮實(shí)際產(chǎn)生的關(guān)節(jié)位置。

逆向運(yùn)動(dòng)學(xué)模塊：基于旋轉(zhuǎn)的姿態(tài)估計(jì)的一個(gè)主要問(wèn)題是末端執(zhí)行器的預(yù)測(cè)可能會(huì)偏離它們的實(shí)際位置——即使末端執(zhí)行器用作已知輸入，例如 VR 場(chǎng)景中的手。這是因?yàn)閷?duì)于末端執(zhí)行器，誤差會(huì)沿著運(yùn)動(dòng)鏈累積。然而，準(zhǔn)確估計(jì)末端執(zhí)行器的位置在混合現(xiàn)實(shí)中尤為重要，因?yàn)槭滞ǔＳ糜谔峁┯脩舻妮斎胄畔ⅲ词故俏恢蒙系男≌`差也會(huì)嚴(yán)重干擾與虛擬界面元素的交互。為了解決這個(gè)問(wèn)題，本文采用了一個(gè)單獨(dú)的 IK 模塊，該算法根據(jù)已知的手部位置調(diào)整手臂肢體位置。具體來(lái)說(shuō)，在網(wǎng)絡(luò)產(chǎn)生輸出后，IK 模塊會(huì)調(diào)整肩部和肘部關(guān)節(jié)的估計(jì)旋轉(zhuǎn)角度，以減少手部位置的誤差，如圖 3 的右圖所示。

實(shí)驗(yàn)

作者評(píng)估了三個(gè)和四個(gè)輸入的不同方法。評(píng)估指標(biāo)是平均每個(gè)關(guān)節(jié)旋轉(zhuǎn)誤差 (MPJRE)、位置誤差(MPJPE) 和速度誤差(MPJVE)。實(shí)驗(yàn)表明，AvatarPoser 在兩種設(shè)置中都實(shí)現(xiàn)了 SOTA 的性能。

表 1 報(bào)告了四個(gè)和三個(gè)輸入的所考慮指標(biāo)（MPJRE、MPJPE 和 MPJVE）的數(shù)值結(jié)果?？梢钥闯?，AvatarPoser 在所有三個(gè)指標(biāo)上都取得了最佳結(jié)果，并且顯著優(yōu)于所有其他方法， VAE-HMD 在 MPJPE 上取得了第二好的性能，緊隨其后的是 CoolMoves。Final IK 在 MPJPE 和 MPJRE 上給出了最差的結(jié)果，因?yàn)樗鼮榱藘?yōu)化末端執(zhí)行器的位置和姿勢(shì)，沒(méi)有考慮到其他身體關(guān)節(jié)的位置和平滑度。因此，使用 Final IK 進(jìn)行上身姿態(tài)估計(jì)的 LoBSTr 的性能也很低。作者表示這顯示了用數(shù)據(jù)驅(qū)動(dòng)方法從現(xiàn)有動(dòng)作捕捉數(shù)據(jù)集中學(xué)習(xí)人體運(yùn)動(dòng)的價(jià)值。但是，這并不意味著傳統(tǒng)的優(yōu)化方法沒(méi)有用，作者的消融研究中展示了逆向運(yùn)動(dòng)學(xué)與深度學(xué)習(xí)相結(jié)合如何提高手部位置的準(zhǔn)確性。

為了進(jìn)一步評(píng)估提出的方法的泛化能力，作者在不同方法之間進(jìn)行了跨數(shù)據(jù)集評(píng)估。為此，作者在兩個(gè)子集上進(jìn)行訓(xùn)練，在另一個(gè)子集進(jìn)行測(cè)試。表 2 顯示了在 CMU、BMLrub 和 HDM05 數(shù)據(jù)集上測(cè)試的不同方法的實(shí)驗(yàn)結(jié)果。AvatarPoser 再次在所有三個(gè)數(shù)據(jù)集中的所有評(píng)估指標(biāo)上都取得了最好的結(jié)果。

作者還對(duì)不同子模塊進(jìn)行消融研究，并在表 3 中提供結(jié)果。實(shí)驗(yàn)是在與表 2 中的 HDM05 相同的測(cè)試集上進(jìn)行的。評(píng)價(jià)指標(biāo)為 MPJRE [?]和 MPJPE [cm] 。除了全身關(guān)節(jié)的位置誤差外，作者還計(jì)算了手部位置的平均誤差，以體現(xiàn) IK 模塊如何幫助改善手的位置。

此外，作者還給出了方法對(duì)比的視頻，有移動(dòng)，鍛煉，投擲 3 個(gè)示例，黃顏色代表誤差，可以說(shuō) AvatarPoser 的結(jié)果是一騎絕塵，非常絲滑了！

AvatarPoser 也可以在流行的 VR 系統(tǒng)上很好地工作，盡管訓(xùn)練時(shí)只使用了合成的動(dòng)作捕捉數(shù)據(jù)。作者在 VIVE Pro 頭顯和兩個(gè)控制器上進(jìn)行測(cè)試，如視頻所示，AvatarPoser 對(duì)各種運(yùn)動(dòng)類型（如步行、坐著、站立、跑步、跳躍和蹲下）都具有穩(wěn)定優(yōu)秀的性能。

總結(jié)

這篇論文展示了全新的基于 Transformer 的方法 AvatarPoser，僅通過(guò)混合現(xiàn)實(shí)頭顯和手持控制器的運(yùn)動(dòng)信號(hào)來(lái)估計(jì)真實(shí)的人體姿態(tài)。AvatarPoser 通過(guò)將全局運(yùn)動(dòng)信息與學(xué)習(xí)的姿勢(shì)特征解耦并使用它來(lái)引導(dǎo)姿態(tài)估計(jì)，在沒(méi)有腰部信號(hào)的情況下獲得了穩(wěn)健的估計(jì)結(jié)果。此外，通過(guò)將基于學(xué)習(xí)的方法與傳統(tǒng)的基于模型的優(yōu)化相結(jié)合，該方法在全身風(fēng)格的真實(shí)感和準(zhǔn)確的手控之間保持平衡。AvatarPoser 在 AMASS 數(shù)據(jù)集上的大量實(shí)驗(yàn)表明其不僅取得了 SOTA 的性能，更為實(shí)際的 VR/AR 應(yīng)用提供了一個(gè)實(shí)用的解決方案。

編輯：黃飛

?