近日,Meta發(fā)布Movie Gen,稱其為“最先進(jìn)的媒體基礎(chǔ)模型”。據(jù)悉,Movie Gen可生成1080P、16秒、每秒16幀的高清長視頻,其不但可以通過文本輸入生成視頻,還可以通過文本對現(xiàn)有視頻進(jìn)行編輯修改,據(jù)稱逼真程度超越Sora,Movie Gen預(yù)計(jì)明年正式向公眾開放。
《IT時(shí)報(bào)》記者注意到,如今幾乎所有新推出的文生視頻產(chǎn)品都會(huì)與年初亮相的Sora對比,將之視為最強(qiáng)大的競爭者。不過,Sora一鳴驚人后卻遲遲未上線,被外界調(diào)侃為“期貨”,那么“視頻ChatGPT時(shí)代”究竟何時(shí)來臨?
OpenAI的內(nèi)憂外患
距離首次亮相已超過半年,Sora為何遲遲未能正式上線?
Logenic AI聯(lián)合創(chuàng)始人李博杰向《IT時(shí)報(bào)》記者表示,Sora未能如期發(fā)布的主要原因可能與其所需的算力資源密切相關(guān)。Sora模型本身需要占用大量計(jì)算資源,生成一分鐘視頻的時(shí)間高達(dá)約半小時(shí),且并非單臺(tái)設(shè)備完成,而是需要多臺(tái)并行運(yùn)行,這
;96t0k-kt9ogpotot\/.t/t/T/FTddddddddft t分鐘視頻的成本可能超過100美元。
李博杰指出,如果普通用戶生成一分鐘視頻要花費(fèi)100美元,那么如此高的成本對于消費(fèi)級(jí)市場來說顯然難以接受。因此,Sora尚未能大規(guī)模推廣。相比之下,一些國內(nèi)公司選擇了較小規(guī)模的模型,雖然生成效果不如Sora,但在當(dāng)前算力有限的情況下更加實(shí)用,能讓用戶立即上手。
Sora如何降低成本?可能需要依賴模型蒸餾這一技術(shù)。
模型蒸餾是指通過使用大型、強(qiáng)大的模型(如GPT-4o或o1-preview)的輸出,來微調(diào)更小、更具成本效益的模型(如GPT-4o mini),以在特定任務(wù)上接近高級(jí)模型的性能,但成本大幅度降低。
如GPT-4o mini,通過模型蒸餾技術(shù)將成本降低了30倍,“理論上Sora也可以采取這種方法,將模型能力稍微削弱,但成本卻能大幅下降。”李博杰同時(shí)指出,這一過程需要大量資源投入,而資源恰恰是當(dāng)前OpenAI內(nèi)部面臨的一個(gè)重要問題。
近日,《The Information》報(bào)道稱,OpenAI因不滿微軟無法快速提供足夠的服務(wù)器,開始與Oracle洽談,以建立全球最強(qiáng)的AI數(shù)據(jù)中心。OpenAI首席財(cái)務(wù)官Sarah Friar此前表示,由于微軟提供的算力不夠,OpenAI不得不尋找其他數(shù)據(jù)中心合作。
另一方面,盡管OpenAI擁有比大多數(shù)公司更多的GPU資源,但團(tuán)隊(duì)規(guī)模龐大,內(nèi)部的資源爭奪和職場斗爭不斷。OpenAI內(nèi)部約有3000名員工,不少團(tuán)隊(duì)需要搶占資源,高管的頻繁離職也與此有關(guān)。
OpenAI部分團(tuán)隊(duì)專注于商業(yè)化,需要快速推向市場,因此占用了大量GPU資源。尤其是GPT-4的免費(fèi)開放,更加劇了資源消耗。此外,OpenAI還在不斷訓(xùn)練新模型,如o1推理模型、Sora的最新版本、GPT-4.5以及即將推出的GPT-5.進(jìn)一步加重了計(jì)算資源的負(fù)擔(dān)。
當(dāng)?shù)貢r(shí)間10月4日,OpenAI的文生視頻大模型Sora團(tuán)隊(duì)研發(fā)負(fù)責(zé)人Tim Brooks宣布離職,加入谷歌 DeepMind。在此之前,9月26日,OpenAI高層也經(jīng)歷了重大變動(dòng),多位高管相繼離職,創(chuàng)始團(tuán)隊(duì)成員僅剩三人。
此外,在美國,生成式AI引起的版權(quán)爭議正愈演愈烈。此前,超過4700名藝術(shù)家發(fā)起集體訴訟,指控Stability AI、Midjourney和其他AI相關(guān)公司非法使用版權(quán)作品用于訓(xùn)練AI。相比文本生成,圖片、視頻和語音的版權(quán)風(fēng)險(xiǎn)更大,視頻生成面臨更多的版權(quán)問題。
內(nèi)憂外患之中,Sora終成“期貨”。
國產(chǎn)文生視頻百花齊放
對于廣大使用者而言,Sora從“理想”到“現(xiàn)實(shí)”的進(jìn)展緩慢無疑令人失望與焦慮。Sora首次亮相時(shí),業(yè)內(nèi)的討論還聚焦于中美AI技術(shù)的差距。如今,短短半年后,國內(nèi)AI創(chuàng)作領(lǐng)域已然“百花齊放”。相比之下,Meta的入局已經(jīng)顯得慢了半拍,中國企業(yè)迫不及待地開始布局視頻生成技術(shù)。
今年3月底,字節(jié)跳動(dòng)旗下的剪映團(tuán)隊(duì)推出AI創(chuàng)作平臺(tái)“即夢AI”并開放內(nèi)測。8月6日,移動(dòng)版應(yīng)用正式上線蘋果商店,具備文生圖、文生視頻和圖生視頻等功能。
6月13日,美圖發(fā)布了基于大模型的短片創(chuàng)作平臺(tái)MOKI,創(chuàng)作者只需經(jīng)過簡單設(shè)定,即可生成動(dòng)畫短片、網(wǎng)文短劇、故事繪本和MV等多種內(nèi)容,極大降低了創(chuàng)作門檻。
6月21日,快手推出旗下的“可靈”圖生視頻功能,7月24日,基礎(chǔ)模型升級(jí),顯著提升了畫面質(zhì)量與運(yùn)動(dòng)表現(xiàn)。
大模型領(lǐng)域的初創(chuàng)公司同樣不甘落后。愛詩科技推出了AI視頻生成產(chǎn)品PixVerse,生數(shù)科技4月發(fā)布了視頻生成模型Vidu,智譜AI7月26日上線清影(Ying),MiniMax則于9月2日推出abab-video-1.其高壓縮率、優(yōu)良的文本響應(yīng)能力以及多樣化風(fēng)格,能夠生成媲美電影質(zhì)感的高分辨率、高幀率視頻。
據(jù)德邦證券統(tǒng)計(jì),自Sora首次亮相以來,全球已有十多家公司發(fā)布或更新了視頻生成模型。
作為自2023年2月起就開始體驗(yàn)各種視頻創(chuàng)作工具的資深用戶,俞國漢見證了AI視頻創(chuàng)作領(lǐng)域快速變化。
“最開始要將視頻的每一幀都用圖像生成模型Stable-Diffusion進(jìn)行圖生圖處理,然后再連成視頻。”俞國漢回憶道。這種方法雖然能夠生成具有創(chuàng)意效果的視頻,但每一幀圖生圖之間存在差別,導(dǎo)致最終的視頻效果總是閃爍不定,嚴(yán)重影響了觀看體驗(yàn)。
此后,字節(jié)跳動(dòng)的Animatediff模型出現(xiàn),憑借免費(fèi)、本地使用且可操作性強(qiáng)的優(yōu)點(diǎn),迅速獲得了技術(shù)愛好者們的青睞,成為視頻轉(zhuǎn)視頻的主流工具。與此同時(shí),市場上也涌現(xiàn)出了一些高質(zhì)量的圖生視頻工具,如Runway Gen2因其出色的畫質(zhì)和高分辨率,一度受到短劇領(lǐng)域的青睞。
2024年初Sora的面世給視頻創(chuàng)作領(lǐng)域帶來一波新浪潮。“那時(shí)候大家對Sora既充滿期待又感到不安,覺得之前花時(shí)間研究的視頻技術(shù)都變得不再重要了。”俞國漢回憶道。
直到2024年6月,快手“可靈”正式發(fā)布,讓俞國漢在內(nèi)的創(chuàng)作者們直呼“原來真的有那么好的文生視頻工具”?伸`不僅提升了文生視頻的表現(xiàn),還證明了高質(zhì)量文生視頻的可能性。此后,市場上涌現(xiàn)出了多種文生視頻工具,如Vidu、Runway、Luma、海螺AI等,每款工具都各有特色。
俞國漢向《IT時(shí)報(bào)》記者詳細(xì)介紹了自己體驗(yàn)這些文生視頻工具的直觀感受,比如海螺AI以其優(yōu)秀的動(dòng)畫、鏡頭運(yùn)用和人物情感表達(dá)而著稱;Vidu在語義理解、特效2D動(dòng)畫、一致性等表現(xiàn)出色;Runway則以其較高的分辨率、優(yōu)秀的畫面質(zhì)感成為廣告行業(yè)的理想選擇;而可靈則因其平衡的性能而被視為多面手。
商業(yè)化“道阻且長”
俞國漢指出,目前使用AI視頻制作對于個(gè)人用戶而言成本仍然較高,但對于企業(yè)來說,這種成本是可以接受的,商用AI視頻制作中,畫面一致性、分辨率和語義理解能力是決定視頻質(zhì)量的關(guān)鍵因素。
盡管文生視頻技術(shù)為創(chuàng)意工作開辟了新的空間,但其現(xiàn)有的局限性使得它在商業(yè)應(yīng)用中的價(jià)值遠(yuǎn)不及圖生視頻。目前來看,文生視頻大多時(shí)候更像是愛好者的“玩具”,難以滿足商業(yè)需求。因?yàn)樵诙虅≈谱髦,需要確保人物形象和其他元素的一致性,而文生視頻往往只能生成幾秒鐘的內(nèi)容,且下一秒的內(nèi)容可能會(huì)發(fā)生變化,這顯然無法滿足專業(yè)制作的要求。
李博杰也指出,在技術(shù)層面,文生視頻面臨的關(guān)鍵挑戰(zhàn)之一是風(fēng)格一致性的問題。例如,在生成一個(gè)10秒的視頻時(shí),人物形象是否保持一致,是否會(huì)出現(xiàn)前后視頻中人物外貌不符的情況。此外,視頻中的物理規(guī)律是否符合常識(shí)也是一個(gè)難點(diǎn)。
“Sora的關(guān)鍵作用在于它為行業(yè)指明了方向。如果它能夠降低成本并進(jìn)入市場,其他公司將會(huì)紛紛跟進(jìn),投入資源進(jìn)行開發(fā)。”李博杰表示,盡管目前Sora的效果未達(dá)最佳,但如果它開源視頻生成模型,將帶來一場顛覆性的行業(yè)變革。
事實(shí)上,當(dāng)前市面上缺乏先進(jìn)開源的視頻生成模型。大多數(shù)頭部公司如Meta和Sora都選擇了閉源。雖然Meta近期發(fā)布了一份92頁的技術(shù)報(bào)告,詳細(xì)闡述了技術(shù)細(xì)節(jié),開放程度已超出其他公司,但模型本身仍未開源。若未來這些模型能實(shí)現(xiàn)開源,將極大推動(dòng)視頻生成行業(yè)的發(fā)展。
盡管如此,李博杰認(rèn)為,Sora未來能夠在市場上推出,依然具備強(qiáng)大的競爭優(yōu)勢,“OpenAI在數(shù)據(jù)和算力上的顯著優(yōu)勢讓其在市場中獨(dú)樹一幟,其他公司既沒有那么多的GPU資源,也缺乏同等規(guī)模的高質(zhì)量數(shù)據(jù)”。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
特斯拉最近發(fā)布了一段視頻,展示了其人形機(jī)器人Optimus(擎天柱)的新功能和進(jìn)展,試圖回應(yīng)外界對其智能水平的質(zhì)疑。
近日,中國家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。