智東西
編譯 | 程茜
編輯 | 心緣
智東西6月19日報道,今日凌晨,AI圖像生成頂流Midjourney發布其首款AI視頻生成模型V1。
V1支持用戶上傳Midjourney生成的或外部圖像進行視頻生成,有手動、自動生成動作提示詞兩個選項,可設置鏡頭移動更快的高速運動和相對靜止的低速運動。
從其生成效果來看,V1可以保證在畫面背景變化的同時,主人公動作行為依舊連貫且流暢,即使憑空創造的怪物、科幻形象運動也流暢自然。
用戶在Midjourney圖像生成界面選項點擊“Animate Image”就可以體驗,最長可生成20秒視頻。
目前,Midjourney的所有訂閱者都可以體驗V1,其會員起訂費為10美元(折合人民幣約71.9元)/月,用戶每次生成視頻需從每月預設的信用額度中扣除點數,類似“按次消耗額度”的機制。Midjourney正在測試為每月60美元訂閱費的會員開放“無限制輕松模式”。
Perplexity AI設計師Phi Hoang在X上評價:它超出了我所有的預期。
Phi Hoang在X上評價
V1的發布也意味著Midjourney開啟了從圖像生成走向全多媒體內容創作的重大轉變。不過,相比于視頻生成賽道的老玩家,V1的功能并不完善,其目前只能生成視頻,無法生成對應音頻,配樂需要用戶在后期制作中使用單獨的工具手動添加,并且其視頻尚不支持編輯時間線、場景轉換或片段之間的連續性。
體驗地址:
https://www.midjourney.com/explore?tab=top_month
一、一口氣生成20s流暢動作,生成速度快
V1剛發,網友們的創作熱情就被點燃,在社交平臺上傳了不少自己的生成效果。總結來看,V1的特點包括可生成長時間的流暢動作,支持豎屏、橫屏等不同畫幅,且網友普遍反饋生成速度很快。
A double exposure portrait of a majestic lion’s side profile, set against a backdrop of trees and a sunset sky. The image has a black background, with a photorealistic, hyperrealistic, and cinematic lighting style, created using Octane Render.
這張雄獅側面的雙重曝光肖像照,背景是樹木和落日的天空。圖像背景為黑色,采用照片級、超現實主義和電影級的燈光風格,使用Octane Render渲染。
雄獅和樹木、落日的雙重曝光效果逼真,但提示詞中的“電影級燈光效果”并沒有在雄獅移動時表現出來。
下面視頻共17秒,視頻中主人公從站在樓頂、一躍而下、反轉身體到在空中飛翔,整個畫面一氣呵成,沒有出現扭曲的地方。
有網友火速比較了V1和Runway的視頻生成效果。
同一提示詞下,V1生成視頻周圍的蝴蝶完全靜止,Runway捕捉到了整體畫面,較為和諧。
二、每次最長可生成20s,每秒成本相當于一張靜態圖像生成
用戶可以在Midjourney生成新圖像,然后點擊“Animate(動畫)”按鈕,就能讓圖像動起來。
其具體的設置包括,用戶可以通過“自動”動畫設置幫助生成“動作提示”,“手動”按鈕支持用戶自己向系統描述希望如何讓圖像變化的需求。
在創意角度,V1有高速運動、低速運動兩個選項。低速運動更適合環境場景,即相機基本靜止,拍攝對象緩慢移動,例如人物眨眼或微風吹拂的場景,缺點是有時被拍到的東西也是靜止的。
高速運動適合那些希望拍攝對象、相機等所有物體都動起來的場景。缺點是,所有這些運動有時會發生奇怪的錯誤。
用戶可以選擇延長自己覺得較為滿意的視頻,每次大約延長4秒,總共可延展4次,也就是能生成20秒的視頻。
Midjourney允許用戶上傳外部圖像,將圖像拖到提示欄并將其標記為“起始幀”,然后輸入動作提示來描述希望它如何移動。
正式上線時,Midjourney將僅提供V1的網頁版,其博客提到,視頻制作的收費大約是圖片制作的8倍,每個視頻任務將支持生成4個5秒的視頻,由于每個視頻任務生成20秒的內容,因此每秒的成本大致相當于生成一張靜態圖像。
此外,Midjourney還將為“專業版”及更高級別的訂閱用戶測試視頻“輕松模式”。
三、目標是實時模擬開放世界模型
此次V1的發布,Midjourney將其視為探索構建能夠實時模擬開放世界模型的第一步。
他們的目標簡單來說,就是有一個能夠實時生成圖像的AI系統,用戶可以命令該系統在3D空間中移動,環境和角色也會隨之移動,用戶還可以與所有物體互動。
基于此,圖像模型負責視覺效果,視頻模型負責讓圖像動起來,3D模型讓角色在空間中移動,最后還需要實時模型快速完整這些過程。
因此,明年,Midjourney將分別構建并發布這些模型,然后慢慢將這些模型整合成統一系統。
結語:Midjourney闖進視頻生成賽道
視頻生成模型的競爭大幕已經拉開。5月谷歌發布Veo 3實現音畫同步,6月字節跳動推出豆包視頻生成模型Seedance 1.0 pro,昨天MiniMax更新海螺02打破全球視頻模型效果成本紀錄,今日Midjourney首款視頻模型亮相。
此前,Midjourney的產品一直強調可訪問性和易用性,但現在它正朝著更復雜的模擬框架邁進,他們也將V1描述為邁向更復雜系統的“技術墊腳石”。
在宏大目標背后,Midjourney目前還面臨著來自迪士尼和環球影業全球兩大娛樂工作室的嚴峻法律挑戰,他們指控Midjourney未經授權使用受版權保護的角色來訓練其模型,并繼續允許用戶生成衍生內容,這也為其未來的發展蒙上了一層不確定性。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.