視頻生成大模型，能幫助我們成為視頻創作者嗎？

前段時間，AI歌手Yuri火爆全網，不少網友驚嘆AI大模型生成的視頻居然真假難辨，口型和聲音近乎完美同步。完全由AI創作的MV視頻《SURREAL》似乎向我們證明，每個人都可以使用AI創作出高質量的視頻，但事實真的如此嗎？

《SURREAL》的背后是汗青工作室，擁有專業的后期團隊，該MV的背后更有上萬張圖片，無法代表大眾水平。

為了驗證視頻生成大模型的真實能力，雷科技挑選了國內人氣和能力較強的可靈、即夢、清影、拍我四款視頻生成模型，將通過一場評測，展現當前國產視頻生成模型的能力，以及探討哪款視頻生成模型最強。

（圖源：mockup網站套殼）

這四款模型中，可靈出自快手，曾有「國產Sora」的稱號，但上線時間比Sora更早；即夢出自字節跳動，可用抖音掃碼登錄；清影出自智譜AI團隊，而智譜核心成員來自國內頂級學府清華大學的KEG（知識工程）實驗室；拍我原名PixVerse，出自愛詩科技，此前主要面向海外市場，今年6月才推出國內版App。

介紹完畢，四款App實力如何，咱們看表現說話。

四款模型橫評：均有瑕疵，能力差距明顯

先說一下測試環境，可靈選擇了2.1大師版本，即夢為視頻3.0版本，清影暫不支持更改版本，因而使用默認版本，拍我為V4.5版本，生成的視頻均為16:9比例、5秒時長、720P分辨率，但由于圖片大小限制，雷科技將視頻制作成GIF時會進行壓縮。

為了保證公平性，鏡頭運動、風格等參數均不調整，保持默認設置。所有視頻均生成一次，拒絕“人工篩選”優秀作品或后期修改，測試共分為三輪。

第一輪《天凈沙·秋思》：靜態畫面完美，動態可靈完勝。

若想實現讓每個人都能利用視頻生成模型揮灑創意，最重要的就是提高AI對自然語言的理解能力，而非依靠特定的提示詞，所有視頻生成大模型也都在朝著這個方向發展。

因此，第一題雷科技選擇了馬致遠的《天凈沙·秋思》，這首初中課本上的散曲，相信大家還能背誦下來，作者僅用三言兩語，就勾勒出了一幅凄涼哀愁的晚景，能否解構作者想要表達的意境，對于生成視頻的準確性尤為重要。

有著「國產Sora」之稱的可靈，生成的視頻大體與散曲相符，水中的波紋、孤獨的老者，以及橋上欄桿和路邊草木的光影擬真程度較高，鏡頭的拉升凸顯出了孤寂感。美中不足的是，橋對岸類似隧道的洞口，以及上方如同被泥土掩埋的房子不夠協調。在我看來，前方一片平原，寥寥幾戶人家，再加上幾縷炊煙，更能凸顯寂寥的美感。

（圖源：可靈生成）

即夢生成的視頻若不看馬兒，可能會有點分不出來究竟是AI生成的，還是有人在黃昏時拍攝的，水面的波紋、天空云彩的變化，以及遠處的夕陽，接近完美。然而兩匹馬走路的姿態卻有一點虛浮，導致我們認真觀察時，能夠辨別出畫面由AI生成。最重要的是，這段視頻缺少了這首散曲的核心「斷腸人」。

（圖源：即夢生成）

清影生成的視頻就有些離譜了，先不說同樣缺少「斷腸人」這一核心元素，馬匹走著走著竟在空中飄起來就很不合理。清影生成的整個畫面真實度很高，特別是河流的細節，水流沖擊到河岸時會形成回流。只是馬兒騰空而起的畫面，問題實在太嚴重。

（圖源：清影生成）

拍我生成的畫面，能夠體現出孤獨的意境，后面的轉場令我想到了留守兒童送父母外出打工的畫面。不過這段視頻人物的整體裝束過于現代化，而且轉場有些突兀，馬兒和轉場后的英文略顯多余。

（圖源：拍我生成）

靜態景物和動作幅度較小的動態景物，四款AI大模型的差距不明顯，但到運動度較大的景物時差距立見分曉，即夢、清影的馬兒行動都有些不自然。總體來說，本輪測試中，可靈表現最好，其次為即夢和拍我，清影生成的視頻中馬兒騰空而行，導致扣分嚴重。

第二輪《舞女謝幕》：面部、肢體均有瑕疵，協調性有待改進，可靈、即夢不分仲伯。

與文生視頻不同，采用圖生視頻時，用戶可以限定環境和事物主體，便于創作連續性較高的長視頻。視頻生成大模型能否完美復刻圖片的環境和事物特點，則是考驗它們能力的關鍵。本輪的測試題為：舞女結束了表演，向臺下觀眾鞠躬致敬。所用的圖片為豆包AI大模型生成，如下：

（圖源：豆包AI生成）

可靈在評測中發揮穩定，人物的動作幅度是幾款大模型生成的視頻中最大的，且地板的倒影和人物裙擺的實際擺動一致，人物整體動作還算自然。然而右手在最后的鞠躬動作從上往下擺動時，還是出現了虛影。

（圖源：可靈生成）

即夢生成的視頻動作幅度較小，鞠躬的動作也較為標準，但手指處依然有一些不協調，在從上向下移動時，手指數量似乎不對。不過即夢的表現已經極為出色，沒有出現明顯的瑕疵。

（圖源：即夢生成）

上一輪測試中表現不太出色的清影，這一輪又出現了問題，人物鞠躬動作顯得極為緩慢，而且在移動過程中，手臂、手指、面部都出現了扭曲變形的情況，顯然是根據人物的圖片生成立體動作時處理不夠完善，以至于存在明顯的不協調畫面。

（圖源：清影生成）

拍我生成的視頻除了提示詞描述的舞女鞠躬，還主動將鏡頭向后拉，展示出了下方觀眾鼓掌的畫面。問題是，人物的鼓掌動作極度不協調，以至于畫蛇添足。

（圖源：拍我生成）

與上一輪評測的結果相似，靜態事物各家模型生成的視頻質量相似，動態事物的處理存在明顯差距。至于手指處不協調的問題，自從AI能夠創作圖片和視頻開始就一直存在，時至今日仍未被徹底解決。

可靈雖然有手臂虛影這一明顯問題，但主動給自己增加難度的轉圈動作屬于加分項，與即夢仍可并列第一，拍我雖然也存在觀眾鼓掌時動作扭曲的問題，但類似電影鏡頭的處理，也能為其加分。清影在沒有主動給自己增加難度的情況下，仍出現了手臂、手指、面部扭曲且動作較為緩慢的問題，表現最差。

值得一提的是，四款AI大模型并未消除圖片的水印，比較尊重原創，但清影用自己的水印擋住了圖片的水印，處理不是太好。

第三輪《荷塘月色》：閱讀理解比拼，即夢堪稱「高考狀元」。

在課本、試卷上，我們經常讀到名家散文，有時還需要結合自己的閱讀理解，回答相應的問題。這一次，雷科技也給視頻模型準備了一道閱讀理解，要求它們按照朱自清的散文《荷塘月色》段落生成一段視頻。具體內容如下：

曲曲折折的荷塘上面，彌望的是田田的葉子。葉子出水很高，像亭亭的舞女的裙。層層的葉子中間，零星地點綴著些白花，有裊娜地開著的，有羞澀地打著朵兒的；正如一粒粒的明珠，又如碧天里的星星，又如剛出浴的美人。微風過處，送來縷縷清香，仿佛遠處高樓上渺茫的歌聲似的。這時候葉子與花也有一絲的顫動，像閃電般，霎時傳過荷塘的那邊去了。葉子本是肩并肩密密地挨著，這便宛然有了一道凝碧的波痕。葉子底下是脈脈的流水，遮住了，不能見一些顏色；而葉子卻更見風致了。

可靈生成的視頻一如既往高質量，說是用手機或相機拍攝的，可能都有人信，荷葉、荷花真實度極高，水面的倒影、波紋也宛如真實畫面，鏡頭的移動更為這段視頻增添了一絲靈動感。美中不足的是，可靈可能誤解了「像閃電般」這句話，導致畫面開頭部分真的有閃電劃過。

（圖源：可靈生成）

即夢創作視頻的質量同樣穩定，荷花、荷葉隨風搖擺，水中的倒影也在晃動。盡管植物莖葉在水中晃動時激起波紋的特性，該視頻沒能太好地展示出來，但不能掩蓋這段視頻的優秀。

至于清影生成的視頻，荷葉與荷花鋪滿了水面，卻與段落中的「葉子出水很高」不相符，也沒有體現出來波痕、流水等特點，整個視頻宛如靜態，只有小幅度的變化。

（圖源：清影生成）

如果說可靈生成的視頻中掠過的閃電可以用晴空霹靂強行解釋，拍我生成的畫面中，從水中鉆出的詭異人頭，只能用 「荷花修煉成精」這樣的玩笑來解釋了。出現這種畫面，可能是拍我理解錯了「又如剛出浴的美人」這句話。清影生成的畫面清新唯美，如果沒有人頭從水面鉆出的畫面，可以給高分，但很遺憾。

（圖源：拍我生成）

在這一輪測試中，表現最好的是即夢，畫面很好地展示出了荷花池隨風而動的景象，不存在多余的元素。其次則是可靈，鏡頭推進絲滑順暢，開頭的閃電也容易修改。清影和拍我各有各的問題，表現相對較差。

相較于口語化的文字，散文通常更加晦澀難懂，出現些許偏差也可以理解，能夠將荷塘、荷花、荷葉展示出來，可見幾款AI大模型在人類語言識別方面已經相當出色。

小結：可靈、即夢并列冠軍，清影、拍我略顯遜色。

從三輪測試的結果不難看出，固定鏡頭下動作幅度較小的場景，對于視頻生成大模型來說已不是難題，生成的視頻足以以假亂真。而到了動作幅度較大的場景，可靈和即夢表現稍強一些。

其中可靈喜歡給自己增加難度，比如舞女轉個圈、荷塘鏡頭推進等等，對于文字描述的理解能力也相對準確。

即夢以求穩為主，三輪測試均未出現大錯。清影則在三輪測試中，均出現了較為嚴重的問題，生成的第一個視頻馬兒在空中行走，第二個視頻肢體和面部扭曲且動作緩慢，第三個視頻未能正確刻畫出場景。

至于拍我，三輪測試中整體表現還算不錯，除了最后一輪的詭異人頭。拍我全球用戶已突破6000萬，在國內市場實力與名氣存在落差。

數月前，雷科技曾針對多款AI大模型做過一期評測，它們的表現卻令我大失所望，生成的畫面僵硬、虛假。短短幾個月過去，AI大模型對于真實世界物理變化的理解上升了一個臺階，光影效果、衣服的擺動等等，都幾乎難以分辨真偽。

可靈和即夢的背后分別是國內頭部短視頻平臺快手和抖音，擁有龐大的視頻資源可供訓練，它們升級幅度也是最大的。視頻模型領域大戰將起，可靈與即夢似乎已經擁有了競爭王座的資格。

百度強勢入場，視頻生成模型戰火日益焦灼

據界面新聞報道，在2024年第三季度百度總監會上，百度董事長兼CEO李彥宏表示，Sora這種視頻生成模型投入周期長，可能拿不到收益，無論多么火爆，百度都不會去做。然而日前百度卻在AI Day科技開放日上推出了自研視頻生成模型MuseSteamer和繪想平臺，并宣稱MuseSteamer在權威榜單VBench I2V中以總分89.38%位列全球第一。

雷科技進入繪想進行了一番體驗，該平臺較為簡潔，僅提供視頻生成和數字人生成兩個功能，其中數字人生成功能暫未開放，視頻生成目前只支持圖生視頻。

于是雷科技也用第二輪題目對其進行了測試，除了人物面部表情不夠自然，且動作也略顯遲緩外，其他方面表現不比可靈、即夢等大模型差，光影效果刻畫到位，尤其是腳部的動作。不過這段視頻也有一個問題，繪想似乎想要消除插入圖片的水印，但又沒能去除干凈。

（圖源：繪想生成）

百度進入視頻生成模型領域，只有一個解釋，那就是看到了視頻生成模型的前景，以及其能夠帶給百度的利益。

視頻生成模型在專業領域已有不少成績，除了開頭提到的《SURREAL》，還有《三星堆：未來啟示錄》《中國神話》《新世界加載中》《冰霜》等內容。

繪想平臺提供的數字人生成功能，大概率將用于微短劇創作，數字人的形象可以在多個視頻中使用，更便于用戶創作內容。而且微短劇一集一般在1分鐘到3分鐘，創作的難度較低，AI大模型甚至可以提高視頻的質量，讓微短劇不是停留在大篇幅對話和狹小場景，能夠展示更多場景。

作為國產視頻生成模型的佼佼者，截至今年第一季度可靈全球用戶規模已突破2200萬，相較上線初期增長了25倍，累計生成了1.68億個視頻和3.44億張圖片，并且可靈2.0模型曾登頂AI基準測試機構Artificial Analysis圖生視頻榜單。

無論是可靈、拍我用戶數量的爆發式增長，還是百度入局視頻生成模型領域，都預示著視頻生成模型即將迎來爆發期。不過以目前視頻生成模型的能力而言，普通人用其創作長視頻難度較高，視頻模型在處理大幅度動作方面的能力仍有待提升。專業團隊則有足夠的技術實力和資源對視頻進行優化，消除AI生成視頻的瑕疵。

視頻模型短短數月從生成的視頻質量堪憂，發展到瑕不掩瑜，進步堪稱神速。或許幾個月后之后，視頻模型生成的內容將再無違和感，可生成視頻的時長也有望進一步增加。