大數(shù)據(jù)文摘受權(quán)轉(zhuǎn)載自數(shù)字生命卡茲克

作者：卡茲克

沉寂N久的Runway，昨晚突然就，發(fā)布他們的Gen4模型了。

這里給很多AI視頻的新玩家稍微解釋一下Runway。

真的，我對(duì)Runway其實(shí)一直有著非常特殊的情感。

這玩意，可以說是AI視頻的鼻祖，很多人知道AI視頻生成模型，可能是2023年11月爆火的PIKA，可能是2024年2月16號(hào)的Sora，可能是同年6月6號(hào)的國產(chǎn)之光可靈。

但是其實(shí)，AI視頻視頻生成第一次進(jìn)入大眾視野，是2023年7月的Gen2。

Gen1是個(gè)video to video模型，只能做視頻風(fēng)格的轉(zhuǎn)繪，沒法文生或圖生視頻，而Gen2，第一次支持文生和圖生了。

那時(shí)候，我我花了5個(gè)晚上，用MidJourney生成了693張圖，用Gen2生成了185個(gè)鏡頭，最后選出來了60個(gè)鏡頭，剪輯成了我最喜歡的，《流浪地球3》的AI預(yù)告片。

就是這個(gè)玩意（23年8月的技術(shù)，純粹的動(dòng)態(tài)PPT，不要用現(xiàn)在的眼光來衡量，求勿噴）。

那時(shí)候，這個(gè)片子發(fā)出去后，火爆程度超乎我意料，不僅全網(wǎng)播放破千萬，還引來了一個(gè)賽博魅魔。

這一個(gè)私信，開啟了我人生的轉(zhuǎn)折點(diǎn)。命運(yùn)的齒輪，也開始緩緩轉(zhuǎn)動(dòng)。

后面，Runway一直也是AI視頻行業(yè)的標(biāo)桿，直到Sora的發(fā)布。

Runway一下子好像變成了舊時(shí)代的殘黨。

然后，就是國產(chǎn)大模型的混戰(zhàn)，可靈、即夢、Pixverse、vidu、海螺。Runway在去年6月30日，也發(fā)了一個(gè)Gen3，追了一下，但是后續(xù)Gen3幾乎就再也沒更新過了。

整整9個(gè)月的時(shí)間，他們終于，掏出了新的模型，Gen4。

想要把AI視頻，帶向一個(gè)新的世代。

看他們說什么發(fā)什么，不重要，重要的，還是我們得自己親手實(shí)際測一下。

在我第一時(shí)間，測了一夜的Gen4之后。

我想說。

Runway已經(jīng)不是曾經(jīng)的Runway了，也不再是那個(gè)曾經(jīng)的領(lǐng)頭羊大哥了。。。

我粗體驗(yàn)的結(jié)論就是，不僅畫餅，放出來的模型質(zhì)量還一般。

先說畫餅。

這次Gen4主打的功能，其實(shí)是多主體參考。

大概意思就是，你不需要微調(diào)lora，只需要幾張圖，就可以固定場景、人物、風(fēng)格，然后直接文生即可，有很強(qiáng)的可控性和一致性。

他們這次放出來的幾個(gè)視頻，有一個(gè)是我非常喜歡的，叫做《牛群》。質(zhì)量極高，而且也能看出多主體參考的運(yùn)用。

這個(gè)片子我?guī)缀跏且豢谧涌赐甑模浅５木拢昼R、色調(diào)、節(jié)奏都很棒，人物也是全程統(tǒng)一，不會(huì)像以前一樣，人物變來變?nèi)ィ恢弊屓顺鰬颉?/p>

正是因?yàn)槎嘀黧w參考的越發(fā)成熟，參考+文生可能未來會(huì)越來越主流，AI短劇也會(huì)越來越多。

但是，這個(gè)功能，其實(shí)vidu早就上了，可靈和海螺也都上了，不過大家各有各的問題，比如會(huì)糊，比如一致性沒那么好等等。

Runway Gen4從演示上來看，效果確實(shí)不錯(cuò)，如果能達(dá)到片子里的水平，那就是No.1。

但是，最大的問題，是個(gè)期貨。。。

References很快會(huì)推出。。。你也不知道他啥時(shí)候推出。。。

不是哥們，現(xiàn)在OpenAI都知道不發(fā)期貨了，GPT4o啥的全都是發(fā)布即上線，你咋還越玩越回去了。

所以，沒有參考功能，Gen4的生成界面，就變成了光禿禿一坨，只有圖生視頻功能了。。。

對(duì)，文生視頻也沒有，估計(jì)要跟著多主體參考一起出，現(xiàn)在能用的，就只有圖生視頻。

其他的，相機(jī)控制、Act-One，這兩一個(gè)都沒有。

其他的小功能，倒是還能用。

再說說圖生視頻模型。

就，相比于Gen3，有進(jìn)步。

但是跟目前公認(rèn)的圖生視頻最好的模型可靈1.6比，明顯還差了一截，更別提跟Google那個(gè)牛逼炸的Veo2的文生視頻出來的質(zhì)量比了。

我自己測了很多的case。

給大家也直接看一些對(duì)比的case吧（PS：所有的例子，都是一輪直出，可靈1.6用的中文prompt，RunwayGen4用的英文Prompt，飛書文檔鏈接我也放到最后，不是刻意捧誰踩誰，這就是最直觀的case對(duì)比）。

比如這張圖。

1. Prompt：

主體緩緩走過花田。花朵在風(fēng)中輕輕搖曳。微風(fēng)拂過，花瓣在空中飄零。攝像機(jī)以柔和的手持拍攝方式跟在主體后方。具有電影質(zhì)感、真實(shí)感和實(shí)景拍攝的感覺。

上面是RunwayGen4，下面是可靈1.6。

Runway走的更快些，但是完全是直接穿過花的，光影也有點(diǎn)問題，可靈1.6你是能明顯看到人和花的物體碰撞的。而且Runway的花全糊了，細(xì)節(jié)也都丟了。

2. Prompt：

一輛汽車從懸崖邊緣墜落。

這個(gè)對(duì)比應(yīng)該很明顯，可靈1.6的車是輪子在懸崖上瘋狂轉(zhuǎn)瘋狂搶救自己，最后感覺撐不住了，掉下去了，物理規(guī)律雖說有點(diǎn)超現(xiàn)實(shí)，但是至少是連貫的。反觀Runway，你也不知道它前兩秒到底在干啥。

3. Prompt：

女孩身著漢服翩翩起舞，舞動(dòng)著雙臂，優(yōu)雅地旋轉(zhuǎn)著身體。她轉(zhuǎn)過身，再次面向鏡頭，然后對(duì)著鏡頭點(diǎn)頭微笑。

這題就比誰錯(cuò)的更狠，可靈1.6的絲帶也崩了，跟衣服融為一體了，有點(diǎn)問題，但是人好歹翩翩起舞了。但是Runway吧，連圈都不給你轉(zhuǎn)一個(gè)，直直的做了個(gè)體操，絲帶也直接讓牛頓棺材板都?jí)翰蛔×恕?/p>

4. Prompt：

士兵們手持盾牌向前沖鋒。

說了向前沖鋒向前沖鋒，Runway直接抄起盾牌向我沖鋒。

5. Prompt：

男人猶豫了一下，試探性地伸手撐著墻，然后一步一步地走上樓梯，一邊抬頭一邊環(huán)顧四周。

非常經(jīng)典的《楚門的世界》的最后截圖，兩邊在prompt理解上都有問題，手沒撐強(qiáng)，但是可靈1.6至少是一步一步走的，Gen4我也不知道為啥跟投胎生孩子一樣跑那么快，最后腦門還撞柱子上了。。。

6. Prompt：

洛神水下起舞，衣袂飄飄。舞者優(yōu)雅而大氣地?fù)]動(dòng)水袖，美極了。

非常地獄級(jí)別的難度，中國古風(fēng)，全是絲帶，還在水下，還要跳舞。

可靈1.6真的會(huì)在水下給你跳一支舞，雖然絲帶是噩夢也有BUG，但是整體很棒。RunwayGen4的光影比可靈1.6要細(xì)膩很多，這個(gè)優(yōu)點(diǎn)確實(shí)牛逼，就是最后人是跳舞，它感覺跳著跳著人在水里溺亡躺尸了。。。

7. Prompt：

右邊的男子往后退了一步，舉起槍，將槍口對(duì)準(zhǔn)了左邊男子的額頭。鏡頭迅速拉遠(yuǎn)，捕捉到他們站在屋頂上的畫面。

最后這個(gè)case，我必須要給你們看個(gè)好玩的，當(dāng)時(shí)夜里跑完的時(shí)候，我差點(diǎn)沒笑暈過去。

這是可靈1.6的：

整體還不錯(cuò)對(duì)吧。

我們?cè)倏碦unwayGen4的，前方高能，注意不要笑出聲。

我真的，完全預(yù)料不到故事的發(fā)展。你以為我用槍制服你？不，來看看爹的腋窩吧。。。

太特么有毒了。

我跑的case，都放在這個(gè)文檔里面了，也公開分享給大家，有興趣看更多的，可以點(diǎn)進(jìn)去看：

https://datakhazix.feishu.cn/base/JB8Cboxt6aOkFFsUpehc2M19n2e?from=from_copylink

2年前，在《流浪地球3》AI預(yù)告片的那篇文章的結(jié)尾。

我寫下了這么一段話。

現(xiàn)在，我們知道了。

那時(shí)候我也沒想到，原來給2年后埋下的彩蛋，打開是這個(gè)樣子。

就像一位遲到的藝術(shù)家。

慢慢走進(jìn)一個(gè)全新的舞臺(tái)，卻發(fā)現(xiàn)聚光燈早已偏向別人。

那份自豪與失落，也許都將成為腳下的浪花。

風(fēng)雨同舟，與諸君共勉。

GPU算力按需租用

A100/H100 GPU算力按需租用，

秒級(jí)計(jì)費(fèi)，平均節(jié)省開支30%以上！

掃碼了解詳情?