在近期舉行的SIGGRAPH ASIA 2018大會(huì)上，中英科學(xué)家提出了首個(gè)全自動(dòng)3D模型變形傳播方法，不需要配對(duì)訓(xùn)練數(shù)據(jù)，也無(wú)需任何手工調(diào)整，自動(dòng)將物體A的形變傳播到物體B上，效果自然，解決了真實(shí)應(yīng)用場(chǎng)景中配對(duì)模型數(shù)據(jù)少的老大難。

還記得黃教主的那段炫酷舞蹈嗎，和邁克爾·杰克遜一樣舞出太空步！

當(dāng)然，教主沒(méi)有真的在跳舞，只是錄了一段普通的視頻。有算法將邁克爾·杰克遜源視頻中的“舞姿”識(shí)別出來(lái)，再將相關(guān)的肢體動(dòng)作投射到教主身上，這樣，就得到了右邊的魔性視頻。

這樣的算法屬于模型變形傳播方法。傳統(tǒng)上講，要實(shí)現(xiàn)這樣的轉(zhuǎn)換，需要在源-目標(biāo)模型對(duì)的模型上手工標(biāo)注關(guān)鍵對(duì)應(yīng)點(diǎn)，或是需要成對(duì)的模型輸入用以訓(xùn)練轉(zhuǎn)換算法。

然而，手工標(biāo)注費(fèi)時(shí)費(fèi)力，而且在真實(shí)應(yīng)用場(chǎng)景中，也難以能找到成對(duì)匹配的兩種模型庫(kù)。

為了解決這個(gè)問(wèn)題，中科院計(jì)算所、卡迪夫大學(xué)和浙江大學(xué)的研究人員合作，提出了一種全新的3D模型變形傳播方法，可以全自動(dòng)地將一個(gè)人體的3D模型運(yùn)動(dòng)序列傳播到另一個(gè)機(jī)器人的運(yùn)動(dòng)序列上（如下圖一所示），這中間不需要任何的手工交互。圖二展示了一個(gè)手的運(yùn)動(dòng)自動(dòng)驅(qū)動(dòng)牛仔褲運(yùn)動(dòng)的效果。

圖一：運(yùn)動(dòng)人體到機(jī)器人模型的自動(dòng)變形傳播與模型合成

圖二：通過(guò)手勢(shì)運(yùn)動(dòng)自動(dòng)驅(qū)動(dòng)牛仔褲運(yùn)動(dòng)

研究人員在日前于日本東京舉行的計(jì)算機(jī)圖形學(xué)頂會(huì)SIGGRAPH ASIA 2018展示了他們的研究成果。本屆SIGGRAPH ASIA 2018有超過(guò)一萬(wàn)人參會(huì)，包括學(xué)者、工程師、藝術(shù)家和學(xué)生等。相關(guān)研究論文“Automatic Unpaired Shape Deformation Transfer”，被期刊ACM Transactions on Graphics（中科院JCR分區(qū)Q1區(qū)）收錄。

研究人員表示，“這項(xiàng)工作提出了第一個(gè)全自動(dòng)的、不需要成對(duì)模型訓(xùn)練的模型自動(dòng)變形傳播算法。”

現(xiàn)實(shí)世界中廣泛存在的“模仿”行為，在某種意義上就是變形傳播。例如，人想模仿丹頂鶴走路的樣子，人會(huì)先觀察自身和丹頂鶴的各種動(dòng)作，推斷兩種生物做動(dòng)作的特點(diǎn)，思考人和鶴之間相似之處，最后推斷出人如何能做出最像丹頂鶴的動(dòng)作。

基于這一思考，研究人員提出了一種新的深度學(xué)習(xí)模型VAE-Cycle GAN（簡(jiǎn)稱VC-GAN）來(lái)完成自動(dòng)變形傳播任務(wù)。相對(duì)于圖像，三維網(wǎng)格模型是更不規(guī)則的數(shù)據(jù)結(jié)構(gòu)，該方法通過(guò)一種可以表示大尺度三維模型變形的ACAP特征對(duì)三維模型進(jìn)行特征提取，之后在此特征上用VAE降維，用以更緊湊地表示三維模型。

圖三：VAE-Cycle GAN (VC-GAN)的網(wǎng)絡(luò)結(jié)構(gòu)圖示

VC-GAN的網(wǎng)絡(luò)模型則如上圖三所示：它首先對(duì)輸入的3D模型計(jì)算了適用于處理大幅度變形的ACAP 變形特征表示；然后，通過(guò)一個(gè)作用于3D網(wǎng)格結(jié)構(gòu)上的變分自編碼器（VAE）網(wǎng)絡(luò)，將源模型和目標(biāo)模型的特征表示分布映射到低維隱含層空間上，再使用Cycle-GAN來(lái)學(xué)習(xí)出兩個(gè)模型隱含層之間的對(duì)應(yīng)映射；最后，作者引入了光場(chǎng)距離（lightfield distance）來(lái)確保生成的目標(biāo)模型和源模型盡可能相似，由于光場(chǎng)距離的計(jì)算并不可導(dǎo)，他們還設(shè)計(jì)了一個(gè)網(wǎng)絡(luò)simNet來(lái)回歸該光場(chǎng)距離。

與具有規(guī)則定義域的2D圖像不同，3D模型缺乏規(guī)則的定義域，同時(shí)源模型和目標(biāo)模型之間缺乏對(duì)應(yīng)關(guān)系，這使得基于GAN的網(wǎng)絡(luò)難以直接應(yīng)用，而基于體素的3D-GAN又難以生成具有高精細(xì)度的三維模型，VC-GAN的引入解決了這些問(wèn)題。

基于三維網(wǎng)格數(shù)據(jù)的VAE網(wǎng)絡(luò)將三維模型的變形規(guī)律映射到一個(gè)規(guī)則的隱空間，并通過(guò)上述VC-GAN來(lái)建立隱空間上的映射關(guān)系，進(jìn)而可以進(jìn)行全自動(dòng)變形傳播，同時(shí)基于ACAP特征的VAE的引入，也使得生成的三維模型具有更好的細(xì)節(jié)和更加真實(shí)的效果。