• 首頁 > 云計算頻道 > 大模型

    超越Sora!AI視頻模型StreamingT2V可生成120秒超長視頻

    2024年03月26日 14:31:55   來源:站長之家

      近日,UT奧斯丁等機構(gòu)提出的StreamingT2V技術(shù)引發(fā)了廣泛關(guān)注,將AI視頻生成推向了新的高度。這項技術(shù)突破了以往視頻長度的限制,實現(xiàn)了生成高度一致且長度可擴展的視頻。

      StreamingT2V技術(shù)的核心構(gòu)架包括條件注意力模塊(CAM)和外觀保持模塊(APM)。CAM利用短期記憶單元確保視頻連續(xù)性,而APM作為長期記憶單元保持視頻中對象或場景的一致性。這兩個模塊的結(jié)合,使得生成的視頻不僅動態(tài)連貫,而且視覺效果高質(zhì)量。在測試中,研究人員用Streaming T2V生成1200幀,長達2分鐘的視頻。

      具體實現(xiàn)方法分為三個階段:初始化、Streaming T2V生成和Streaming Refinement。在初始化階段,利用文本到視頻模型創(chuàng)造視頻的前16幀;接著進入Streaming T2V階段,通過自回歸技術(shù)生成后續(xù)幀,保證視頻內(nèi)容連貫性;最后,在Streaming Refinement階段對生成的視頻進行優(yōu)化,提高畫質(zhì)和動態(tài)效果。

      特色亮點包括:

      從文本描述生成2分鐘的視頻

      創(chuàng)建具有復雜動態(tài)運動的視頻

      確保長視頻中的時間一致性

      該技術(shù)的出現(xiàn)標志著AI視頻生成的新突破,不僅可以生成1200幀甚至無限長的視頻,而且內(nèi)容過渡自然平滑,豐富多樣。與此同時,StreamingT2V技術(shù)的不斷完善和提升也將進一步推動AI視頻生成領(lǐng)域的發(fā)展,為視頻內(nèi)容創(chuàng)作提供更多可能性。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。

    即時

    新聞

    敢闖技術(shù)無人區(qū) TCL實業(yè)斬獲多項AWE 2024艾普蘭獎

    近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。

    企業(yè)IT

    重慶創(chuàng)新公積金應用,“區(qū)塊鏈+政務服務”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    “純臻4K 視界煥新”——愛普生4K 3LCD 激光工程投影

    2024年3月12日,由愛普生舉辦的主題為“純臻4K 視界煥新”新品發(fā)布會在上海盛大舉行。

    研究

    2024全球開發(fā)者先鋒大會即將開幕

    由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導,由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。