就在前天晚上,阿里萬相開了個只有十分鐘的發布會。
主講人平淡的語氣,讓人以為這就是一次普通的視頻模型開源。
但看完他們放出來的效果,再加上一手實測,我的看法是,這可能真的是視頻開源模型的一個歷史性時刻。
眾所周知,現在的視頻生成模型就跟開盲盒一樣,你辛辛苦苦輸入一段提示詞,結果模型根本聽不明白,給你生成的視頻總和你的想法有點落差,白白浪費咱的余額。
而VACE這波,最牛的一點就是加入了視頻的編輯能力——模型可以按你的需求隨意修改視頻了。
主體動作不合理?咱可以手繪個草圖讓它改。花的顏色不對?咱也能重新染色。
意思是,咱以后想要什么顏色的左手右手慢動作,都可以隨心所欲定義了。
更神的是,視頻畫面的主角,咱也能自定義。
比如,可以給它一個小孩一條蛇,讓它生成一支“喜氣洋洋過蛇年”的視頻。
別說,還真挺自然的,可愛得我想養一只。
而且,就連生成好的視頻主角,它也能隨意替換。。
這家伙,以后明星真不用演戲了,發張自個兒的模型過去替換一下就成了。。
而且,它還能基于人體姿態圖,生成特定動作的人物視頻。
一段練空手道的男孩的視頻,就這么活靈活現的做好了。
這不由得讓世超想起一張圖啊,被認為是AI代替不了人類的鐵證,現在我看人類最后的高地也守不住了。。
X上一些網友們關于這個功能的測試,也是夠震撼的。
比如把《Never Gonna Give You Up》的動作套到某動漫角色身上。
還有展示視頻擴展功能的,還真毫無違和感,完美的融入了這種藝術風格。
但現在官方還沒發布試用入口,本地部署也巨吃配置,想體驗滿血版的可能還得等兩天。值得一提的是,這次VACE開源了兩種參數,其中1.3B的可以在消費級顯卡上運行,14B的就不用想了,誰來都不好使。
世超找了個14B的量化版淺測了下,來帶差友們一起看看效果。注意,不代表滿血版效果。
我們找了張大明星哪吒的全身照。
又找了張《街霸》里的人物動作圖,叫哪吒模仿該動作。
看看丟進去效果如何?
好像還真沒啥毛病啊,如此完美的回旋踢。感覺餃子導演可以閉關研究研究這個了,明年之前手搓哪吒3。
首尾幀生成也做得不賴。我們用黑神話序章里的兩張截圖做了下測試。
其實還不錯,大圣飄在云上的感覺也畫出來了。
咱再來看看局部替換功能。宣傳片里的人狗共舞,大伙應該都有印象。
誒,這狗長得還挺像公司的愛犬火鍋的,所以同事表示他想進去與火鍋共舞。這愿望必須滿足了啊。
動作確實挺齊的,就是這狗怎么感覺有點蚌埠住了?
不過,這些視頻實際上都挺糊。。這是因為VACE目前似乎只支持480p和720p的視頻,要做到高清無碼還是有點難,而且特別吃顯存。。但從效果來說,確實算得上牛。
所以,一個模型這么全能,VACE到底是怎么做到的?
簡單來說,他們使用了一個叫 VCU (Video Condition Unit) 的核心模塊,這玩意就像一個翻譯官,把不同任務的 “指令” 統一成模型能聽懂的格式。對模型來說,就是一個【文、圖、蒙版】的三元組。
舉個例子,如果用戶只輸入了文字指令,模型發現有文字,但圖片和蒙版都沒要求,就知道是文生視頻指令;要是參考圖生成視頻,那輸入里肯定會有參考圖和提示詞,模型看見參考圖和文字,就理解要讓它干圖生視頻的活兒了。
這樣一來,模型不用為每個任務單獨學習,而是通過這三個要素的排列組合,靈活處理各種需求。
有了 VCU,這玩意就實現了一個模型頂多個用的效果。
以前,咱需要多個模型分別做不同任務,現在一個就行,而且我們還能精準控制修改內容,通過修改蒙版和參考圖,只改想改的部分,其他地方不受影響;甚至只給動作和人物照片,就能生成一段影像。
值得一提,現在拍短劇正熱乎呢,這VACE的出現,應該會給個人創作者帶來極大的自由空間,拍一段實景,直接讓AI給你加特效,不滿意就刪了重畫。人要上天入地,也不用吊威亞了。到時誰還分得清我和成龍?
有了這玩意兒,普通人靠自己手搓電影的日子應該也不遠了。
說起來,阿里這些年好像一直是國內AI的領跑者,只不過一直在當AI界的汪峰,一出風頭就被搶。
像他們的通義千問,性能持續突破,旗艦模型 Qwen3-235B-A22B 在數學推理、代碼生成等評測中超越 OpenAI o1、Gemini 2.5 Pro 等國際頂尖模型,且部署成本僅為同類模型的 3%,僅需 4 張 H20 顯卡即可運行滿血版。
這次又搞了個視頻界的“源神”,不得不說的確有種悶聲發大財的味道。
不過這也說明一點,就算風頭被搶,人家也是有在老老實實做事的,而且還把自己的東西拿出來分享,只能說偉大,無需多言。
對普通人來說,這也表示機會越來越多了,未來成為創作者的門檻也會越來越低。只要你有想法,搓出屬于自己的人生大片,也就順手的事。
說到這,你是不是對未來有些許期待了呢?
撰文:不咕
編輯:江江 & 面線
美編:煥妍
圖片、資料來源:
VACE、X、Qwen3、哪吒、黑神話悟空
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.