只需要輸入一段語音,代碼會自動生成與之相對的動畫唇形。
還是毫無違和感的那種。
這是一個在GitHub上擁有501星的開源項目,叫做Rhubarb Lip Sync。
它既可以是Windows和OS X命令行工具,也可以作為軟件的插件使用,能夠根據(jù)語音記錄自動創(chuàng)建2D嘴型動畫。
它可以用于計算機游戲、動畫卡通中的角色,或者用于其他需要基于現(xiàn)有錄音、對嘴部進行動畫處理的的影視項目。
那么,它是怎么實現(xiàn)如此效果的呢?
運作原理
首先,了解一下動畫人物說話的六種嘴型。
上述六種嘴型是由漢娜·巴貝拉(Hanna-Barbera)發(fā)明,已經(jīng)成為2D動畫嘴型的制作標(biāo)準(zhǔn),被迪士尼和華納兄弟等影視公司在多部影視作品采用。
大多數(shù)的發(fā)音,都可以用這六種嘴型表示出來。
因此,Rhubarb Lip Sync工作的步驟如下:
輸入一段語音
Lip Sync識別這段語音
使用六個基本嘴形和最多三個擴展嘴形與語音匹配
輸出一個固定格式的文件
假如我說個奇怪的方言,它也能輸出相應(yīng)的嘴型動畫嗎?
當(dāng)然不是。
目前,Rhubarb Lip Sync只提供了兩個語音識別系統(tǒng):
PocketSphinx:只能識別英語,準(zhǔn)確率更高。
Phonetic :能識別所有語言,因為它是依據(jù)個人的聲音和音節(jié)判別的,但準(zhǔn)確率不如前者。
那么,這個小工具可以跟哪些視頻軟件融合使用呢?
可適用于多款軟件
可以在下載Rhubarb Lip Sync,并且安裝到AE上,可以直接在AE上運行這個軟件。
Moho and OpenToonz
Rhubarb Lip Sync能夠生成.dat文件,這種文件可以被Moho and OpenToonz識別,并導(dǎo)入使用。
Spine by Esoteric Software
Rhubarb Lip Syn for Spine是一個圖形工具,可讓導(dǎo)入Spine項目,執(zhí)行自動唇形同步,然后將結(jié)果重新導(dǎo)入Spine。
Vegas Pro by Magix
Rhubarb Lip Syn 還附帶了兩個用于Vegas Pro(以前稱為Sony Vegas)的插件腳本,可直接在Vegas中使用。
趕快把這個小工具推薦給你喜歡做視頻的朋友吧~
源代碼地址:
https://github.com/DanielSWolf/rhubarb-lip-sync
最新版本的下載地址:
https://github.com/DanielSWolf/rhubarb-lip-sync/releases
https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/AdobeAfterEffects/README.adoc
https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/EsotericSoftwareSpine/README.adoc
責(zé)編AJX
-
語音識別
+關(guān)注
關(guān)注
39文章
1812瀏覽量
116064 -
開源
+關(guān)注
關(guān)注
3文章
4209瀏覽量
46164 -
源代碼
+關(guān)注
關(guān)注
96文章
2953瀏覽量
70340
發(fā)布評論請先 登錄
開源鴻蒙項目順利孵化畢業(yè)
開源歐拉項目達成開源孵化目標(biāo)順利畢業(yè)
開源鴻蒙項目達成開源孵化目標(biāo)順利畢業(yè)
開源鴻蒙和開源歐拉成為開放原子開源基金會首批畢業(yè)項目
openDACS 2025 開源EDA與芯片賽項 賽題七:基于大模型的生成式原理圖設(shè)計
商湯如影圖片數(shù)字人技術(shù)閃耀央視舞臺
基于開源鴻蒙的語音識別及語音合成應(yīng)用開發(fā)樣例
【Sipeed MaixCAM Pro開發(fā)板試用體驗】基于MaixCAM-Pro的AI生成圖像鑒別系統(tǒng)
開放原子開源基金會與新一批開源項目完成捐贈簽約
普華基礎(chǔ)軟件榮膺優(yōu)秀開源項目獎
RT-Thread榮獲2025優(yōu)秀開源項目 | 新聞速遞
零知開源——ESP32語音交互系統(tǒng)(AI小智)開發(fā)教程
Open Echo:一個開源的聲納項目
開源項目:根據(jù)語音自動生成動畫人物口型
評論