大家好我是思凡,自媒體AI應用研究者,最近一年來短視頻里面各種AI小說漫畫推文特別火,流量非常好,就是把故事、小說劇情這樣的長文本轉化為漫畫視頻呈現(通過小說推文變現尤盛)。
但是之前想要完成這一流程會比較復雜,需要先把小說整成適合做分鏡的文字描述,再根據這些文字描述,去一張一張生成所需要的圖片。整個流程下來還是比較繁瑣的。
用國外AI繪圖網站門檻很高,一個分鏡一個分鏡做的方式也可以,還可以一個分鏡一個分鏡做視頻,最后拼接起來,但是花費的時間精力是完全不對等的。
今天這個專輯就是針對長文本連續繪圖轉視頻領域的一個摸索。單張圖片和單個小視頻制作(包括文生視頻或圖生視頻)都不在這次摸排范圍之列。所以我們暫且忘掉Sora、Stable Video、Runway、Pika、pixverse。
國內上線現有:巨日祿AI
國內上線于2023年10月,深耕該領域,堅守在網頁端的,基于SD的長文本AI繪畫轉視頻服務,服務了很多推文達人、各類故事短片、短視頻博主的制作神器。比較成熟,已經開始在動態視頻領域有所突破。
巨日祿AI長文本轉AI繪畫及AI視頻創作平臺
產品標簽:AI繪圖、文生圖、AI視頻、文生視頻、小說推文、AI漫畫推文、一鍵成片
體驗感受:
1、特別贊的是,工作流還原了推文達人的制作過程。
2、對角色和場景的提取,輔助角色和場景固定。
3、畫風眾多,適用不同的題材和類型,20多個畫風,并持續優化更新中,古現代男女頻,甜爽恐玄都能找到適合的。圖片是4:3,目前80%的推文都已經變成這個比例了。
4、字數6000字,每個分鏡好像是200字?滿足大部分需求,希望還可以加長。配音演員的情感配音很贊!可以選擇不同的情感,憤怒、疑惑、開心等。
5、整體操作下來比較絲滑,同時也給了很多選擇的空間,比如選擇AI寫提示詞、角色的細節刻畫、選擇畫動物、選擇不同音色、選擇導出剪映等等。
每個分鏡都可以個性化調整,以及生成動態小視頻
國外對標:StoryDiffusion
來自南開大學和字節跳動的研究團隊提出了一種名為StoryDiffusion的創新方法,通過一致自我注意力和語義運動預測器,實現了高度一致且連貫的圖像和視頻生成,為視覺故事創作帶來了全新的可能。
不過看完我整一個摳腦袋,至少可能還不是我等老百姓能用的。期待趕緊惠及國內用戶。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.