視頻大模型助力網(wǎng)絡(luò)視聽(tīng)創(chuàng)作
- 來(lái)源:網(wǎng)絡(luò)視聽(tīng) smarty:if $article.tag?>
- 關(guān)鍵字:模型,視聽(tīng),創(chuàng)作 smarty:/if?>
- 發(fā)布時(shí)間:2024-05-22 20:13
文/美圖公司創(chuàng)始人、董事長(zhǎng)兼首席執(zhí)行官 吳欣鴻
美圖公司自2014年起,便積極投身于網(wǎng)絡(luò)視聽(tīng)內(nèi)容創(chuàng)作的支持與發(fā)展。雖然美拍在短視頻領(lǐng)域的嘗試未能成為主流,但我們并未停止探索和創(chuàng)新。2019年,美圖秀秀在原有修圖功能的基礎(chǔ)上,新增了視頻編輯功能,并成功孵化了新的視頻編輯產(chǎn)品Wink。目前,Wink已在中國(guó)視頻編輯市場(chǎng)占據(jù)第三位,特別是在日活躍用戶方面,已躍居第二,僅次于剪映。2023 年,在美圖影像節(jié)上,我們發(fā)布了多款產(chǎn)品,其中包括多款應(yīng)用層工具如開(kāi)拍,也有大模型MiracleVision。開(kāi)拍作為一款助力口播視頻創(chuàng)作的工具,通過(guò)AI技術(shù)實(shí)現(xiàn)了從腳本創(chuàng)作、題詞器到智能剪輯一站式服務(wù),極大提高了口播視頻的創(chuàng)作效率。而MiracleVision則是美圖推出的視覺(jué)大模型,專(zhuān)注于圖像和視頻生成。
以美圖展示的“動(dòng)物瘋狂賽車(chē)”短視頻為例,完成該短片僅用時(shí)半天。整個(gè)制作流程均基于美圖已上線產(chǎn)品,包括開(kāi)拍的AI腳本創(chuàng)作、Wink的文聲圖分鏡設(shè)計(jì)、AI生成視頻能力,以及開(kāi)拍的AI數(shù)字人角色等。這一案例充分展示了MiracleVision視頻大模型在內(nèi)容創(chuàng)作領(lǐng)域的強(qiáng)大潛力。
關(guān)于視頻大模型的行業(yè)格局,我們注意到Open AI在2024年2月初發(fā)布的Sora對(duì)美圖等圖像和視頻大模型公司產(chǎn)生了較大沖擊。Sora的發(fā)布讓我們看到了明顯代差,迫使我們重新評(píng)估和調(diào)整自身技術(shù)路線。因此,我們決定對(duì)原有的視覺(jué)大模型進(jìn)行升級(jí),采用全新的“Diffusion Transformer”網(wǎng)絡(luò)架構(gòu)對(duì)模型進(jìn)行訓(xùn)練。全新版本將于今年6月正式發(fā)布,相信我們?cè)谖磥?lái)將會(huì)帶給大家更多驚艷的作品。
美圖公司自成立以來(lái)已有16個(gè)年頭,我們一直深耕于應(yīng)用開(kāi)發(fā)領(lǐng)域,致力于為用戶帶來(lái)更加便捷、高效的創(chuàng)作體驗(yàn)。隨著移動(dòng)互聯(lián)網(wǎng)蓬勃發(fā)展,我們推出了一系列備受歡迎的應(yīng)用產(chǎn)品,贏得了廣大用戶的喜愛(ài)和認(rèn)可。如今,大模型應(yīng)用創(chuàng)新的浪潮席卷而來(lái),我們看到了應(yīng)用開(kāi)發(fā)者的紅利期已經(jīng)到來(lái)。未來(lái)至少會(huì)有兩年甚至三年的時(shí)間窗口,讓我們有機(jī)會(huì)在這個(gè)領(lǐng)域大展拳腳。
特別是網(wǎng)絡(luò)視聽(tīng)領(lǐng)域有很多垂直場(chǎng)景值得應(yīng)用開(kāi)發(fā)者關(guān)注。在這一領(lǐng)域中,有著無(wú)數(shù)創(chuàng)作可能性和商業(yè)機(jī)會(huì)等待我們?nèi)ネ诰?。同時(shí),我們也在逐步構(gòu)建AI原生工作流,將原本孤立的工作點(diǎn)串聯(lián)起來(lái),形成更加高效、智能的創(chuàng)作環(huán)境。這種變化不僅提高了創(chuàng)作效率,也讓我們能夠更好地滿足用戶需求,為他們帶來(lái)更加卓越的體驗(yàn)。
在具體應(yīng)用方面,美圖在AI視頻生成、視頻編輯和視頻渲染等領(lǐng)域均有布局。例如,在視頻生成領(lǐng)域,我們致力于實(shí)現(xiàn)網(wǎng)文的視頻化及AI電商的視頻生成;在視頻編輯領(lǐng)域,Wink產(chǎn)品擁有成熟的視頻修人像技術(shù),并實(shí)現(xiàn)了內(nèi)容替換、圖片局部視頻化等功能;在視頻渲染方面,我們的AI動(dòng)漫技術(shù)已經(jīng)非常成熟,可以實(shí)現(xiàn)風(fēng)格化的視頻生成。此外,我們還在探索Wink畫(huà)圖修復(fù)、視頻風(fēng)格遷移等渲染技術(shù)。未來(lái),隨著我們技術(shù)的不斷進(jìn)步和創(chuàng)新,相信這些應(yīng)用將為用戶帶來(lái)更加豐富的視聽(tīng)體驗(yàn)。
未來(lái)十年,我們認(rèn)為以Sora為代表的視頻大模型2.0只是一個(gè)開(kāi)始。無(wú)論是美圖推出的MiracleVision視頻大模型,還是全球范圍內(nèi)的視頻大模型,都是1.0版本。所有這些1.0版本產(chǎn)品生成視頻的秒數(shù)和動(dòng)態(tài)效果都還有很多局限性。但我們通過(guò)Sora看到,整個(gè)視頻大模型已經(jīng)能夠逐步理解世界的基本規(guī)律,如物理和運(yùn)動(dòng)等,還將具備更強(qiáng)的涌現(xiàn)能力和創(chuàng)意生成能力。這將為我們帶來(lái)更加廣闊的創(chuàng)作空間和無(wú)限可能。
在這個(gè)充滿機(jī)遇和挑戰(zhàn)的時(shí)代,美圖公司將全力推進(jìn)自研視頻大模型的研發(fā),不斷創(chuàng)新突破,為網(wǎng)絡(luò)視聽(tīng)行業(yè)提供更加優(yōu)質(zhì)、高效的視頻創(chuàng)作工具。我們堅(jiān)信,在未來(lái)的發(fā)展中能夠創(chuàng)造更多令人驚嘆的作品和成果,為用戶和行業(yè)帶來(lái)更多驚喜和價(jià)值。
