電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）11月29日，美國AI初創(chuàng)公司Pika labs發(fā)布了全新的文生視頻產(chǎn)品Pika 1.0，這款產(chǎn)品能夠生成和編輯3D動(dòng)畫、動(dòng)漫、卡通和電影。用Pika 1.0制作視頻幾乎不需要任何門檻，用戶只需要輸入一句話，就可以生成想要的各種風(fēng)格的視頻，并通過簡單的描述，更改視頻中的形象和風(fēng)格。

一句話生成視頻，顛覆傳統(tǒng)視頻制作

Pika成立于今年4月，創(chuàng)始人郭文景和聯(lián)合創(chuàng)始人兼CTO Chenlin Meng，都是斯坦福大學(xué)AI Lab博士生。一位專注于NLP（自然語言處理）和圖形學(xué)，另一位主攻計(jì)算機(jī)視覺方向，都有生成式AI的學(xué)術(shù)經(jīng)歷。今年7月，Pika在Discord推出服務(wù)器，截至目前用戶已超50萬，每周能生成數(shù)百萬個(gè)視頻。

11月29日，Pika Labs正式推出了最新一代視頻生成模型Pika 1.0。Pika 1.0 不僅對視頻生成質(zhì)量進(jìn)行了提升，還支持 3D 動(dòng)畫、動(dòng)漫或電影等多種風(fēng)格視頻。此外，用戶還能夠通過 Pika 實(shí)現(xiàn)畫布延展、局部修改、視頻時(shí)長拓展等編輯需求。

具體來看，Pika 1.0的效果有多驚艷。視頻生成方面，可以通過文字生成視頻，也可以圖片生成視頻。比如，只需輸入提示詞“馬斯克穿著太空服，3D動(dòng)畫”，一個(gè)動(dòng)畫版本、穿著太空服準(zhǔn)備乘坐火箭上太空的馬斯克即可生成，外形、動(dòng)作、背景等元素均十分逼真，可以媲美花大成本制作的3D動(dòng)畫影像。





這是文字生成視頻，另外也可以圖片配合提示詞生成視頻，圖片為第一幀，再用文字控制動(dòng)畫變化效果和鏡頭。比如，可以輕松讓名畫《最后的晚餐》變得生動(dòng)起來。



除了文字生成視頻，圖片生成視頻，還可以通過原有視頻生成更高質(zhì)量的視頻。其展示了一個(gè)騎馬的黑白原視頻，通過Pika 1.0生成了物種不同風(fēng)格的動(dòng)畫，幾乎涵蓋現(xiàn)有電影和動(dòng)畫大部分風(fēng)格，看上去質(zhì)量效果非常好。



除了視頻生成，Pika 1.0還能夠進(jìn)行視頻編輯，用戶只需要選定編輯區(qū)域，就能根據(jù)文本提示詞修改特定區(qū)域。比如，不喜歡視頻中的衣服，可以輕松更換衣服的款式和顏色；只需要用鼠標(biāo)框一下，輸入“一副酷酷的太陽鏡”，馬上就能給視頻中的狒狒帶上墨鏡。




此外，Pika 1.0還能夠修改輕松修改視頻尺寸。雖然這個(gè)技術(shù)在AI繪畫領(lǐng)域早就實(shí)現(xiàn)了，但是目前Pika第一個(gè)將其用在視頻領(lǐng)域。



總的來說，Pika 1.0的功能包括：文本生成視頻、圖像生成視頻功能，只需要輸入簡單的文本描述，或上傳圖像配合文字，就可以創(chuàng)建高質(zhì)量的視頻；視頻風(fēng)格轉(zhuǎn)換；對視頻內(nèi)容進(jìn)行編輯，更改或者增加圖片里面的元素，還能夠更改視頻的寬高比尺寸等。

據(jù)稱，當(dāng)前Pika Labs團(tuán)隊(duì)僅有4位全職成員，但兼具學(xué)術(shù)和創(chuàng)意兩個(gè)領(lǐng)域的頂尖人才。Demi Guo 和 Chenlin Meng 同為 Stanford AILab 的博士研究人員，擁有頂尖的學(xué)術(shù)和科研經(jīng)歷；Karli Chen 作為團(tuán)隊(duì)第三位創(chuàng)始人及創(chuàng)始工程師擁有CMU的ML&CV碩士學(xué)位，Karlin 本科期間就在機(jī)器視覺公司 SenseTime 擔(dān)任工程師；Matan Cohen-Grumi則在創(chuàng)意領(lǐng)域經(jīng)驗(yàn)豐富。

在正式推出Pika 1.0的同一天，Pika也公開透露，目前已完成A輪融資，籌資總額達(dá)到5500萬美元。投資人包括OpenAI創(chuàng)始成員安德烈·卡帕西（Andrej Karpath）、Github前CEO納特·弗里德曼（Nat Friedman）、Quora創(chuàng)始人亞當(dāng)·迪安杰羅（Adam D'Angelo）等。

目前Pika 1.0已經(jīng)開啟申請?jiān)囉?，該公司表示，正在努力修?a target="_blank">算法進(jìn)一步改進(jìn)模型，并開發(fā)用于過濾受版權(quán)保護(hù)材料的模型。另外，目前Pika的產(chǎn)品還是免費(fèi)的，但最終可能會(huì)推出分層訂閱模式，付費(fèi)用戶能享受更多功能。同時(shí)Pika也在開啟招聘計(jì)劃，包括技術(shù)、產(chǎn)品、運(yùn)營等，預(yù)計(jì)明年會(huì)將團(tuán)隊(duì)擴(kuò)充到20人。

AI視頻生成技術(shù)的前景及挑戰(zhàn)

近段時(shí)間，除了Pika 1.0，已經(jīng)有多家企業(yè)發(fā)布新的視頻生成工具。11月16日，社交媒體巨頭Meta發(fā)布工具Emu Video，能夠基于文本和圖像輸入生成視頻剪輯。幾乎同時(shí)，字節(jié)跳動(dòng)發(fā)布了PixelDance模型，通過描述（純文本）+首幀指導(dǎo)（圖片）+尾幀指導(dǎo)（圖片），即可生成包含復(fù)雜場景和動(dòng)作的視頻。

11月21日，Runway動(dòng)態(tài)筆刷Motion Brush面世，該工具發(fā)布的時(shí)候引起不小的關(guān)注，其特別之處在于，只需在任意圖片上抹一筆，就能讓其變成一段動(dòng)態(tài)視頻。作為最早探索視頻生成領(lǐng)域的領(lǐng)頭羊之一，過去一年，Runway先后發(fā)布了 Gen1、Gen2，此次推出的Motion Brush在可靠性上更是又向前邁進(jìn)一大步。



11月24日，專注于開發(fā)人工智能產(chǎn)品的初創(chuàng)公司Stable AI發(fā)布了其最新的AI模型Stable Video Diffusion（穩(wěn)定視頻擴(kuò)散模型），這款模型能夠通過現(xiàn)有圖片生成視頻，是基于之前發(fā)布的Stable Diffusion文本轉(zhuǎn)圖片模型的延伸。

除此之外，Adobe也在文生視頻領(lǐng)域有新動(dòng)作。日前，該公司宣布已收購AI視頻生成創(chuàng)業(yè)公司Rephrase.ai，后者主要通過AI技術(shù)將文本轉(zhuǎn)換為虛擬形象視頻。Adobe高級副總裁兼總經(jīng)理Ashley Still稱，Rephrase.ai團(tuán)隊(duì)在生成式AI音視頻技術(shù)、文本到視頻生成工具方面的專業(yè)知識(shí)將擴(kuò)展Adobe的生成式視頻功能。

從Adobe收購Rephrase.ai，及國內(nèi)外企業(yè)紛紛布局AI視頻生成領(lǐng)域，可以看到，AI生成內(nèi)容大潮已經(jīng)逐漸從文本和圖片，進(jìn)一步轉(zhuǎn)向視頻生成。

當(dāng)前，短視頻、短劇市場方興未艾，AI視頻技術(shù)的不斷成熟和應(yīng)用，有望讓視頻創(chuàng)作更簡單，成本更低。正如在Pika 1.0發(fā)布之際，OpenAI創(chuàng)始成員安德烈·卡帕西（Andrej Karpathy）在X平臺(tái)發(fā)文感慨“每個(gè)人都能成為多模式夢想的導(dǎo)演，就像《盜夢空間》中的建筑師一樣?！?br />
全世界最大的AI開源社區(qū)Hugging Face的CEO克萊門特（Clement）表示：“2024年，某個(gè)主流媒體領(lǐng)域?qū)?huì)充斥AI生成的內(nèi)容?！?br />
AI視頻生成有著可想象的美好前景，同時(shí)當(dāng)前來看，它也存在一些挑戰(zhàn)。它與此前的AI生成圖片有所不同，Pika Labs創(chuàng)始人Demi接受媒體采訪時(shí)表示，視頻有很多和圖片不一樣的問題，比如要確保視頻的流暢性、確保動(dòng)作，視頻比圖像更大，需要更大的GPU內(nèi)存，視頻生成需要考慮邏輯問題，還要考慮如何生成，是一幀一幀生成，還是一起生成，現(xiàn)在很多模型是一起生成，生成的視頻就很短。如果要一幀一幀生成，要怎么做，其實(shí)視頻生成有很多圖片生成不會(huì)面臨的新的技術(shù)問題。

該公司的聯(lián)合創(chuàng)世人Chenlin談到，雖然視頻的每一幀都是一張圖片，但比圖片困難得多。每一幀的生成質(zhì)量要高，相鄰幀之間還要有關(guān)聯(lián)性。當(dāng)視頻很長時(shí)，確保每一幀都協(xié)調(diào)一致是個(gè)相當(dāng)復(fù)雜的問題。在訓(xùn)練時(shí)，處理視頻數(shù)據(jù)時(shí)要處理多張圖片，模型需要適應(yīng)這種情況。比如，如何將100幀圖片傳輸?shù)紾PU上是一個(gè)挑戰(zhàn)。而在推理時(shí)，由于涉及到生成大量幀，推理速度相對于單張圖片會(huì)更慢，計(jì)算成本也會(huì)增加。

從目前的情況來看，雖然現(xiàn)在的AI視頻生成已經(jīng)展現(xiàn)出很驚人的效果，不過仍然面臨新的挑戰(zhàn)，還有需要突破的地方，比如視頻的時(shí)長，清晰度等等，相關(guān)企業(yè)對此還需要持續(xù)探索。

總結(jié)

過去兩年，生成式AI大潮席卷全球，圖片生成率先火出圈并獲得大量使用，不少AI創(chuàng)業(yè)企業(yè)也因此實(shí)現(xiàn)盈利。如今，AI視頻生成逐漸成為創(chuàng)業(yè)企業(yè)及資本追逐的新熱點(diǎn)，目前已經(jīng)有眾多企業(yè)推出相關(guān)產(chǎn)品，隨著Pika 1.0的發(fā)布，AI視頻生成技術(shù)也走上了一個(gè)新高度?？梢韵胂?，隨著技術(shù)的不斷突破，AI視頻生成技術(shù)將短視頻、短劇等行業(yè)帶來新的可能。