電子發(fā)燒友網報道（文/李彎彎）日前，阿里云宣布通義實驗室研發(fā)的視頻生成模型EMO正式上線通義App，免費對所有人開放。借助這一功能，用戶可以在歌曲、熱梗、表情包中任選一款模板，然后通過上傳一張肖像照片就能讓 EMO 合成演戲唱歌視頻。

阿里云在視頻生成領域的創(chuàng)新

EMO（Emote Portrait Alive）是一個由阿里巴巴集團智能計算研究院開發(fā)的框架，一個音頻驅動的 AI 肖像視頻生成系統(tǒng)，能夠通過輸入單一的參考圖像和語音音頻，生成具有表現力的面部表情和各種頭部姿勢的視頻。

據介紹，通義 App 首批上線了80多個 EMO 模板，包括熱門歌曲《上春山》《野狼 Disco》等，還有網絡熱?！袄徖忞u”“回手掏”等。EMO自2月底公布模型論文以來，在海內外引發(fā)廣泛關注，并與OpenAI的Sora模型相提并論。

具體來看，EMO的功能包括，音頻驅動的視頻生成，通過輸入一段音頻（如語音、歌曲等）和一張參考圖片（通常是人物的肖像），就能生成一個動態(tài)的、與音頻內容同步的視頻。

阿里EMO使用先進的音視頻擴散模型和注意力機制，能夠生成具有高度真實感和豐富表現力的肖像視頻。肖像的表情和動作會非常自然和流暢，與音頻內容緊密同步。

阿里EMO的應用場景非常廣泛。它不僅可以用于娛樂和創(chuàng)作領域，如讓歷史人物“復活”、為電影角色配音等，還可以用于教育、廣告、游戲等多個領域，為用戶提供更多樣化、個性化的視頻內容。

另外，阿里EMO采用高效的算法和計算框架，能夠在較短的時間內生成高質量的肖像視頻。這為用戶節(jié)省了大量的時間成本，提高了工作效率。

阿里EMO的框架還具有良好的可擴展性和靈活性，可以根據用戶的具體需求進行定制和優(yōu)化。例如，可以通過調整參數或添加新的模型組件來優(yōu)化生成視頻的質量和性能。

阿里在視頻生成領域做過非常多創(chuàng)新，此前還推出過VideoComposer，這是一個結合了空間條件和時序條件的視頻生成框架。它利用單張圖像或草圖作為空間條件，同時結合運動矢量和深度序列等時序條件，來生成具有高度視覺逼真度的視頻。

阿里云還發(fā)布了AtomoVideo模型，這是一種能夠從單一靜態(tài)圖像生成高保真視頻序列的技術。它結合了個性化文本到圖像（T2I）模型，能夠根據文字描述和靜態(tài)圖片生成符合描述的視頻內容。

此外，阿里云視覺智能開放平臺提供了豐富的視頻生產能力，包括視頻摘要、視頻編輯、視頻人臉融合等功能。這些功能可以應用于電商、影視、廣告等多個領域，幫助用戶快速生成高質量的視頻內容。

視頻生成使用到的AI技術和算法

視頻生成是一個涉及多個步驟和技術的過程，目前國內外有多款視頻生成工具，如Pixverse、Pika、Runway Gen-2、Kaiber、Plaiday、Genmo等。其中，Pika因其高質量和穩(wěn)定的畫面生成能力而受到用戶好評，Runway Gen-2則可以將midjourney生成的圖像轉換為高質量動畫。另外，Sora作為一款新興的視頻生成工具，其獨特之處在于能夠生成高質量的長視頻內容，并理解長文本指令以生成詳盡細節(jié)的視頻內容。

從算法的角度來看，視頻生成涉及到一些基本的算法和技術。例如，循環(huán)神經網絡（RNN）中的GRU和LSTM可以有效避免梯度下降和衰減的問題，而encoder-decoder架構則使得機器翻譯等任務的效果大幅提升。在視頻生成領域，這些算法和技術可能用于生成視頻的內容、結構、風格等方面。

視頻生成采用了相當多的技術，包括深度學習模型，這是視頻生成中最為關鍵的技術之一。深度學習模型，特別是生成對抗網絡（GANs）和變分自編碼器（VAEs），被廣泛應用于視頻生成中。這些模型能夠學習并模仿視頻數據的分布，從而生成新的、與原始數據相似的視頻。

計算機圖形學，它在視頻生成中扮演著重要角色，特別是在創(chuàng)建虛擬場景、角色和特效時。通過計算機圖形學技術，可以生成逼真的虛擬場景和角色，并將其與真實視頻相結合，創(chuàng)造出獨特的視覺效果。

物理模擬，為了生成更逼真的視頻，物理模擬技術被用來模擬物體的運動和交互。這包括模擬物體的運動軌跡、碰撞效果、光影變化等，以使得生成的視頻更加真實可信。

自然語言處理，隨著技術的發(fā)展，自然語言處理（NLP）也被應用于視頻生成中。通過解析文本描述，NLP技術可以指導視頻生成模型生成與文本內容相匹配的視頻。這為視頻生成提供了更多的創(chuàng)意和可能性。

還有音頻合成技術，除了視覺元素外，音頻也是視頻的重要組成部分。音頻合成技術可以生成與視頻內容相匹配的音效和背景音樂，從而提升視頻的觀看體驗。此外，還有一些其他的技術也被用于視頻生成中，如增強學習、遷移學習等。這些技術使得視頻生成更加靈活、高效和多樣化。

寫在最后

經過近些年的發(fā)展，視頻生成技術也逐漸成熟，并且在新聞報道、廣告制作、教育培訓、電影與游戲制作、醫(yī)療健康等領域有不少實際的應用案例。未來，娛樂與媒體、廣告與營銷、教育培訓、虛擬現實/增強現實、醫(yī)療健康等都將會成為視頻生成技術的主流應用。