智東西
編譯 李夏
編輯 漠影

智東西5月7日消息，據(jù)外媒VentureBeat報(bào)道AI視頻生成模型有重大突破，數(shù)字創(chuàng)意工具開發(fā)商Lightricks（其代表性產(chǎn)品包括自拍編輯應(yīng)用Facetune 和通用的圖像編輯應(yīng)用VideoLeap）今日宣布推出迄今最強(qiáng)大的AI視頻生成模型——LTXV-13B。

該模型不僅能在消費(fèi)級GPU上運(yùn)行，還可實(shí)現(xiàn)視頻生成速度提升至同類模型的30倍。目前，LTXV-13B已以開源形式發(fā)布，并正在整合進(jìn)Lightricks的創(chuàng)意工具產(chǎn)品線，包括其旗艦敘事平臺LTX Studio。

LTXV-13B模型參數(shù)規(guī)模達(dá)130億，引入了“多尺度渲染”的全新技術(shù)路徑，通過逐層細(xì)化生成視頻，大幅提升效率，使創(chuàng)作者無需依賴高端企業(yè)級GPU，僅憑普通臺式機(jī)或高性能筆記本電腦即可生成高質(zhì)量的AI視頻。

Lightricks聯(lián)合創(chuàng)始人兼CEO Zeev Farbman在接受VentureBeat獨(dú)家專訪時(shí)表示：“130億參數(shù)LTX Video模型的發(fā)布，是AI視頻生成領(lǐng)域中的關(guān)鍵轉(zhuǎn)折點(diǎn)。現(xiàn)在用戶可在消費(fèi)級GPU上快速生成高質(zhì)量內(nèi)容，實(shí)現(xiàn)更高一致性、更優(yōu)質(zhì)量與更強(qiáng)可控性的突破性進(jìn)展。”

一、突破顯存瓶頸，LTXV-13B通過“多尺度渲染”實(shí)現(xiàn)AI視頻生成本地化運(yùn)行

目前AI視頻生成的一大挑戰(zhàn)在于其對計(jì)算資源的高要求，業(yè)界領(lǐng)先的模型例如Runway、Pika和 Luma往往需在云端使用多個(gè)80GB或更大顯存的企業(yè)級GPU運(yùn)行，這使得本地部署幾乎不可能實(shí)現(xiàn)。

消費(fèi)級GPU與企業(yè)級GPU的主要分水嶺在于顯存。NVIDIA針對消費(fèi)級市場的顯卡進(jìn)行了嚴(yán)格的內(nèi)存限制，如支持實(shí)時(shí)光線追蹤和圖像增強(qiáng)的RTX系列顯卡3090、4090，其顯存上限為24GB，而最新的5090為32GB。相比之下，企業(yè)級GPU的顯存要高得多。”

而LTXV-13B模型的設(shè)計(jì)完全考慮了消費(fèi)級硬件的限制。即使未經(jīng)量化處理、無近似簡化，完整模型也能在消費(fèi)級GPU上運(yùn)行，包括NVIDIA支持實(shí)時(shí)光線追蹤和圖像增強(qiáng)的RTX系列顯卡3090、4090、5090及其筆記本版本。

▲這是LTXV-13B模型在單塊消費(fèi)級GPU上渲染的未經(jīng)編輯的四秒鐘示例（來源：Lightricks）

LTXV-13B模型性能提升的核心在于其“多尺度渲染”技術(shù)，F(xiàn)arbman稱之為“本次發(fā)布中最重要的技術(shù)突破”。“多尺度渲染”允許模型逐步生成細(xì)節(jié)。首先在粗略的網(wǎng)格上構(gòu)建場景與物體運(yùn)動(dòng)的大致輪廓，隨后將場景劃分為若干小塊，每個(gè)小塊再逐層填充更多細(xì)節(jié)。

這種處理方式類似于藝術(shù)家的繪畫流程：先起草大致輪廓，再逐步豐富細(xì)節(jié)。對AI而言，其優(yōu)勢在于所需的顯存峰值取決于小塊的大小，而非最終視頻的分辨率，同時(shí)該模型還使用更高效的潛空間壓縮機(jī)制，在保證輸出質(zhì)量的同時(shí)顯著降低顯存需求。并且由于視頻在潛空間中具有更高的壓縮率，能進(jìn)一步減少顯存占用。

▲Lightricks 的 LTXV-13B 模型在等效硬件上生成視頻僅需 37.59 秒，而同類模型耗時(shí)超過 1491 秒，提速近 40 倍（數(shù)據(jù)來源：Lightricks）

二、開源與免費(fèi)授權(quán)并行，推動(dòng)中小企業(yè)與學(xué)術(shù)界共創(chuàng)生態(tài)

盡管當(dāng)前許多領(lǐng)先的AI模型仍采用封閉API策略，Lightricks選擇將 LTXV-13B完全開源，已發(fā)布于開源平臺Hugging Face和GitHub。Farbman表示：“一年前還相對封閉的局面如今已有所改變。我們看到越來越多優(yōu)秀的大語言模型和擴(kuò)散模型開源發(fā)布。相比半年前，我現(xiàn)在對開源生態(tài)更為樂觀。”

開源策略也有助于加速研發(fā)進(jìn)展。“我們開源的主要?jiǎng)右蛑皇墙档脱邪l(fā)成本。”Farbman指出，“許多高校研究人員會(huì)使用模型寫論文，我們則作為一個(gè)研究成果的‘策展人’，能更快識別出真正有價(jià)值的研究進(jìn)展。”

同時(shí)Lightricks決定向年收入不超過1000萬美元的企業(yè)免費(fèi)授權(quán)使用LTXV-13B模型。這一在AI行業(yè)鮮有的策略目的在于構(gòu)建開發(fā)者與中小企業(yè)的生態(tài)社區(qū)，借此在商業(yè)化前驗(yàn)證模型價(jià)值。

Farbman表示：“學(xué)術(shù)界本就不設(shè)限制，可以自由使用模型。而對初創(chuàng)企業(yè)和工業(yè)用戶，我們希望創(chuàng)造雙贏局面。光靠AI愛好者或藝術(shù)家的嘗試并不足以帶來規(guī)模化營收。”對于未來實(shí)現(xiàn)商業(yè)化的企業(yè)，Lightricks計(jì)劃參考游戲引擎的授權(quán)模式，根據(jù)公司營收狀況進(jìn)行商業(yè)談判。“一旦某公司營收突破1000萬美元，我們會(huì)就授權(quán)事宜與其商討。”

三、通過與Getty和Shutterstock的合作，解決AI訓(xùn)練的數(shù)據(jù)版權(quán)難題

隨著AI模型使用網(wǎng)絡(luò)抓取數(shù)據(jù)進(jìn)行訓(xùn)練所引發(fā)的法律爭議不斷增加，Lightricks已與圖片版權(quán)商Getty Images和Shutterstock達(dá)成合作協(xié)議，獲得用于模型訓(xùn)練的授權(quán)內(nèi)容。

▲兩只由AI生成的兔子在單塊消費(fèi)級GPU上渲染而成，它們短暫地望向鏡頭后便邁步離開（數(shù)據(jù)來源：Lightricks）

Farbman坦言：“訓(xùn)練數(shù)據(jù)的收集仍處在法律的灰色地帶。我們的企業(yè)客戶對此非常重視，因此必須確保能為他們提供合法合規(guī)的模型。”通過與上述內(nèi)容提供商的合作，Lightricks能夠在保證合規(guī)性的同時(shí)拓展企業(yè)級市場，降低其在商業(yè)應(yīng)用中的法律風(fēng)險(xiǎn)。

結(jié)語：AI視頻生成領(lǐng)域多模態(tài)融合引領(lǐng)技術(shù)突破

Farbman坦言，盡管LTXV-13B已取得顯著進(jìn)展，但當(dāng)前AI視頻生成尚未達(dá)到影視制作所需的精度與復(fù)雜度，即便是最先進(jìn)的模型，距離真正的好萊塢水準(zhǔn)仍有不小差距。

但他也指出，AI視頻已在動(dòng)畫制作等實(shí)際場景中展現(xiàn)出巨大的效率優(yōu)勢，特別是能自動(dòng)化執(zhí)行一些重復(fù)性極強(qiáng)、資源消耗大的環(huán)節(jié)。“高端動(dòng)畫制作的預(yù)算中，真正的創(chuàng)意設(shè)計(jì)只占一小部分，而關(guān)鍵幀制作卻是耗費(fèi)最多資源的環(huán)節(jié)之一。”

展望未來，F(xiàn)arbman預(yù)測下一個(gè)技術(shù)前沿將是“多模態(tài)視頻模型”，即將圖像、音頻、音樂等內(nèi)容整合至同一潛空間內(nèi)進(jìn)行聯(lián)合建模。“屆時(shí)諸如唇形同步等問題將迎刃而解，跨模態(tài)協(xié)同將成為基礎(chǔ)能力。”

來源：VentureBeat