中國女孩偶像組合SNH48發(fā)布的最新圣誕音樂視頻中，六位明星出現(xiàn)了數(shù)字替身，只要用手機(jī)自拍一張照片，就能幾秒鐘內(nèi)生成一個(gè)完整的3D頭像。

遇到“假”愛豆，還做不做舔狗？

中國女孩偶像組合SNH48最新發(fā)布圣誕音樂視頻，六位最受歡迎的明星一起唱歌和跳舞，值得注意的是，這六人都有假“替身”。

最近，南華早報(bào)報(bào)道了這項(xiàng)技術(shù)背后的公司ObEN。

一張自拍照生成3D頭像

以虛擬形式生成人的畫像是一項(xiàng)艱巨的任務(wù)，ObEN的CV團(tuán)隊(duì)會(huì)在每張2D圖像上查看數(shù)十個(gè)標(biāo)記，并分析每個(gè)標(biāo)記如何在2D和3D之間移動(dòng)和變化，從而改變3D模型。

3D建模從內(nèi)部構(gòu)建的面部數(shù)據(jù)庫開始。首先收集大量數(shù)據(jù)，幫助確定這些面部特征，并訓(xùn)練AI算法識(shí)別它們。通過將2D圖像與3D對(duì)應(yīng)物進(jìn)行比較，團(tuán)隊(duì)分析了這些標(biāo)記如何變形以及如何在2D和3D之間轉(zhuǎn)換。然后訓(xùn)練AI以自動(dòng)變形（或重組）一個(gè)通用的3D頭部模型（網(wǎng)格線框），使其與2D圖像中描繪的面部匹配，可根據(jù)標(biāo)記點(diǎn)檢查其準(zhǔn)確性。

ObEN首席執(zhí)行官Nikhil

最厲害的地方在于，只要用手機(jī)自拍一張照片，就能幾秒鐘內(nèi)生成一個(gè)完整的3D頭像。

ObEN計(jì)算機(jī)視覺科學(xué)家王睿哲博士講述了背后的一些技術(shù)。

形象逼真是件好事，但過于真實(shí)可就不見得了。用戶希望他們的虛擬形象看起來像一個(gè)增強(qiáng)的、“美化”的版本，而不是一個(gè)完全的復(fù)制品。這就是為什么他們可以通過訓(xùn)練人工智能來生成虛擬化身，在人物真實(shí)形象和改善外觀之間取得良好平衡，縮小藝術(shù)與技術(shù)之間的差距。

要快速完成此過程，必須教會(huì)AI識(shí)別這些標(biāo)記的變化（換句話說，用戶個(gè)體臉部的紋理）如何與標(biāo)準(zhǔn)的線框模式合并，以最好地模擬用戶的視覺外觀。

與傳統(tǒng)媒介的藝術(shù)家一樣，某些屬性比其他屬性更重要，并且難以捕捉到，特別注意眼睛和嘴巴周圍的區(qū)域。

此外，CV團(tuán)隊(duì)還在探索在講話時(shí)如何更自然，并對(duì)視覺語音的研究涉及訓(xùn)練AI來識(shí)別各類人的說話方式、臉部動(dòng)畫，尤其是嘴巴的動(dòng)作。通過足夠的訓(xùn)練，AI可以接收任何文本或音頻輸入，并根據(jù)其面部特征自動(dòng)設(shè)置用戶模型說話時(shí)的動(dòng)態(tài)。

ObEN的語音合成技術(shù)應(yīng)用深度學(xué)習(xí)，可以捕獲完整的聲波紋，創(chuàng)建任何語言的數(shù)字聲紋，比如美國人錄制的聲音可以用來說中文，同時(shí)，錄聲音也不需要專業(yè)錄音環(huán)境，只要沒有太多背景噪音就OK。

構(gòu)建明星替身：虛擬形象可能比明星還厲害

ObEN成立于2014年，軟銀旗下SB Next Media創(chuàng)新基金投出的第一筆錢就是這家公司，目前ObEN完成數(shù)輪融資：

2014年7月，完成種子輪融資；

2016年11月，完成770萬美元A輪融資；

2017年3月，獲軟銀韓國的投資。

2017年7月，完成500萬美元的A2輪融資，騰訊領(lǐng)投

2018年1月，完成1000萬美元B輪可轉(zhuǎn)債融資。

另外，通過與SM Entertainment（韓國最大的娛樂機(jī)構(gòu)）合資，ObEN成立了世界上第一個(gè)名人AI機(jī)構(gòu)AI Stars，為世界上一些超級(jí)明星創(chuàng)建PAI（定制AI），他們可以創(chuàng)造新的體驗(yàn)，與世界各地的粉絲建立聯(lián)系。

這其中的基礎(chǔ)技術(shù)與之前說提到的技術(shù)類似，該團(tuán)隊(duì)通過對(duì)合作的明星進(jìn)行全面3D面部掃描來獲取更多數(shù)據(jù)。通過更多數(shù)據(jù)，模型可以使用更多數(shù)據(jù)，從而獲得更高質(zhì)量的虛擬形象。

但是，對(duì)于ObEN的研究人員來說，一個(gè)漂亮的面孔是不夠的。團(tuán)隊(duì)正在進(jìn)行的工作不僅涉及不斷改進(jìn)AI模型，還為更具表現(xiàn)力的虛擬化身創(chuàng)建定制的面部裝備?，F(xiàn)在，ObEN正在收集各種表情的數(shù)據(jù)集，分析這些不同面部表情的相應(yīng)標(biāo)記，并訓(xùn)練模型來預(yù)測不同表情的面部形狀。

很快，你的愛豆模型便不再只是單純長得像你的愛豆了——它可能比你的愛豆還要厲害。