作者|沐風
來源|AI先鋒官
就在昨天上午的火山引擎Force原動力大會上,字節一下推出了一堆新 玩意。
如:豆包大模型1.6、豆包視頻生成模型Seedance 1.0 pro、豆包·語音播客模型,還升級了Agent開發平臺等AI云原生服務。
但其中最令小編印象深刻的非視頻生成模型Seedance 1.0 pro莫屬。
它不僅是國內第一個擁有“多鏡頭敘事能力”的視頻生成模型,在評測榜單Artificial Analysis上,Seedance 1.0 pro在文生視頻、圖生視頻兩項任務上均排名首位,超越Veo3、可靈2.0等多模態模型。
據官方介紹,Seedance 1.0 pro除“多鏡頭敘事能力”外,還具備以下特色:
畫面與主體動態效果更自然,能夠流暢地生成大幅度的運動;
無論是細微的表情還是動態場景,均能保持高水平的穩定性與物理真實感;
在鏡頭切換與時空變換中,能保持人物場景一致性;
在多主體動作和復雜運鏡提示詞的表現上更好;
能準確響應多樣的風格指令,以支持各類創意需求。
現在,所有用戶均可以在即夢AI中使用它。
即夢AI中的“視頻3.0 pro”就是Seedance 1.0 pro,而“視頻3.0”,則是Seedance 1.0 mini。
接下來,小編就通過圖生視頻、風格化表達、多鏡頭敘事能力、和運動效果這4個維度對See da nce 1.0 pro和可靈AI進行對比測試,看看它到底為何被稱為AI視頻大模型的新王。
多鏡頭敘事能力
我們先來看看它的看家本領到底如何。
提示詞:
分鏡一: 一個穿戴黑色戰術服和戰術頭盔的人,手持步槍,在酒店的走廊里高速奔跑。鏡頭以與他同樣的速度進行橫向跟拍,營造出緊張的急迫感。
分鏡二: 鏡頭切換到一個固定的機位,鏡頭面對電梯門前。奔跑者沖入畫面,停在電梯門前,他用手反復、快速地按著電梯按鈕,神情緊張。
分鏡三: 切換到電梯內部的視角,電梯門緩緩打開,門外的人沖進電梯,他一進入電梯就立刻轉身面向門口背對鏡頭,電梯門隨即開始關閉,切斷了外部的視野。
Seedance 1.0 Pro
可靈AI
啊這......確實有點為難可靈了,可以看出它確實想努力的呈現我想要的效果,但畢竟它還不具備分鏡能力,不過先容小編不厚道的笑一會(哈哈哈哈),從墻中穿出的人...徒手扒開電梯門....哈哈哈。
我們再來說說Seedance 1.0 Pro,它在前兩個分鏡做的都很不錯,但第三個分鏡很明顯看到它在人進入電梯時切了鏡,但效果并沒有做出提示詞中的效果,也就是電梯內部的視角。
另外,從生成速度上來說,Seedance 1.0 Pro要比可靈更快。
再來一個。
提示詞:
分鏡一: 在一條筆直的賽道上,一輛拉力賽車面向鏡頭駛來。
分鏡二: 切至車內,鏡頭從側方拍攝,一位賽車手專注的駕駛賽車。
分鏡三: 鏡頭再回到賽道上方,賽車背對著鏡頭向正前方駛去,進入彎道。
Seedance 1.0 Pro
可靈AI
嚯,可以看到,這次Seedance 1.0 Pro很好地實現了三個鏡頭的自然切換,呈現效果:一級棒!
這次可靈居然在最后也破天荒的整了一個分鏡,雖然效果不及Seedance 1.0 Pro,但是也給了小編一個驚喜。
小編提示詞建議:要想更好的達到你想要的效果時,大家可以像小編一樣將分鏡一二三在提示詞中標注清晰,或者在提示詞中標注出“鏡頭切換”等明顯觸發詞,這樣在它生成的視頻就會在相應的位置上直接實現切鏡頭。
圖生視頻
原圖
提示詞:
圖片中的女生伸出手對著鏡頭向后倒著跑,露出開心的笑容
Seedance 1.0 Pro
可靈AI
Seedance 1.0 Pro生成的視頻雖然與小編心中所想還是有些出入,跑步姿勢也有些詭異,但按照提示詞來看也沒毛病。
反觀可靈AI,視頻中的女生轉身就跑了,完全沒按照提示詞走啊,小編只想問一句:“還回來吃飯嗎?”
原圖
提示詞:
地鐵里,玩偶熊靠在座位上抬起頭注視鏡頭,其他人在它面前走動,人影動態模糊
Seedance 1.0 Pro
可靈AI
Seedance 1.0 Pro里的玩偶熊要比可靈AI里的抬頭幅度要大,并且,真正讓人感覺它在注視屏幕的是Seedance 1.0 Pro。
不難看出,在語義理解和遵循提示詞內容上,Seedance 1.0 Pro顯然更要比可靈AI強不少。
風格化表達
提示詞:
動漫風格,雙手不斷的在水中掙扎。特寫,男主恐懼的雙眼。
Seedance 1.0 Pro
可靈AI
動漫風格Seedance 1.0 Pro沒什么問題,可靈依舊不聽話,但是小編想悄悄提醒一下可靈,男主好像有點“死”了,掙扎呢?!
提示詞:
像素風格,皮卡丘釋放十萬伏特
Seedance 1.0 Pro
可靈AI
小編已經懷疑人生了, 小編使用它倆 生成不下10個 像素風的視視頻,都未能成功,上方視頻屬于是矮子拔高個了......
運動效果
提示詞:
一位運動員在籃球場上高高躍起,完成扣籃動作,然后穩穩落地,動作流暢有力。
Seedance 1.0 Pro
可靈AI
Seedance 1.0 Pro在人物動作的控制上把握得還不錯,只不過人物動作還是有些僵硬。
但到可靈這,說好的扣籃變成了投籃,小編還要強調一點,小編用的還是2.1大師版!100積分一次,虧麻了。
測試到這里就結束了,相比之下,Seedance 1.0 Pro被稱為AI視頻大模型的“新王”也是非常合理。
可以說,Seedance 1.0 pro在角色動作、運鏡能力、風格一致性、語義理解上都很強悍,另外生成速度是真的快。
不過,必須承認,Seedance 1.0 Pro還未能完全解決所有AI視頻生成中的“老問題”:在長鏡頭中,人物或物體仍偶有閃崩,風格間的轉場偶爾不夠自然等等。
俗話說,亂世出英雄,在越來越卷的AI視頻領域,Seedance 1.0 pro可以霸榜多久呢?讓我們拭目以待。
掃碼邀請進群,我們帶你一起來玩轉ChatGPT、GPT-4、文心一言、通義千問、訊飛星火等AI大模型,順便學一些AI搞錢技能。
往期文章回顧
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.