前幾天和寶子們分享了幾款新晉的AI建模工具,一整個(gè)“高開瘋走”,來勢(shì)洶洶。但其實(shí),AI卷起來那真是方方面面、整整齊齊;這不,前腳卷完建模,后腳他們就開始卷動(dòng)畫了!
那咱們就不說廢話,火速進(jìn)入今天的正題,一起來看看這幾款A(yù)I動(dòng)畫工具~
01
AnimaX
非常前沿的3D動(dòng)畫生成技術(shù),結(jié)合了視頻擴(kuò)散模型、姿態(tài)估計(jì)和逆運(yùn)動(dòng)學(xué)等多模態(tài)AI技術(shù),能夠基于文本描述,快速生成高質(zhì)量、可控性強(qiáng)的3D角色動(dòng)畫。
傳統(tǒng)的運(yùn)動(dòng)合成方法,要么受限于固定的骨骼拓?fù)浣Y(jié)構(gòu),要么需要在高維變形空間中進(jìn)行計(jì)算代價(jià)高昂的優(yōu)化。相比之下,AnimaX能夠有效地將基于視頻的運(yùn)動(dòng)遷移到3D領(lǐng)域,同時(shí)支持具有任意骨架結(jié)構(gòu)的各種關(guān)節(jié)網(wǎng)格 (articulated meshes)。
AnimaX是一種基于深度學(xué)習(xí)的3D動(dòng)畫生成框架,核心目標(biāo)是將無生命的3D網(wǎng)格模型,通過AI驅(qū)動(dòng)的方式賦予自然的動(dòng)作與動(dòng)畫表現(xiàn)。其方法是將3D運(yùn)動(dòng)表示為多視角、多幀的2D姿態(tài)圖,并以模板渲染和文本運(yùn)動(dòng)提示為條件,實(shí)現(xiàn)視頻與姿態(tài)的聯(lián)合擴(kuò)散建模。
為了保證視頻與姿態(tài)序列之間在空間與時(shí)間上的連貫性,團(tuán)隊(duì)引入了共享位置編碼與考慮模態(tài)的嵌入機(jī)制,從而有效地將視頻先驗(yàn)知識(shí)遷移到運(yùn)動(dòng)生成任務(wù)中;生成的多視角姿態(tài)序列隨后通過三角測(cè)量得到3D關(guān)節(jié)位置,并經(jīng)由逆運(yùn)動(dòng)學(xué)(Inverse Kinematics)轉(zhuǎn)換為網(wǎng)格動(dòng)畫。
總的來說,AnimaX融合了兩大關(guān)鍵技術(shù),既能捕捉到豐富的動(dòng)作語義,又能精確控制角色的骨骼運(yùn)動(dòng):
視頻擴(kuò)散模型(Video Diffusion Model):用于建模動(dòng)作的時(shí)間連續(xù)性和物理合理性。
姿態(tài)擴(kuò)散模型(Pose Diffusion Model):用于控制骨架結(jié)構(gòu)的運(yùn)動(dòng)軌跡。
技術(shù)亮點(diǎn)
1.前饋式處理(Feed-forward Processing)
AnimaX不像傳統(tǒng)方法那樣需要復(fù)雜的優(yōu)化過程,而是直接從前向后一步到位地生成動(dòng)畫,可以在幾分鐘內(nèi)完成一個(gè)完整的3D動(dòng)畫生成任務(wù)。
2.多視角、多幀的2D姿態(tài)圖表示(Multi-view, Multi-frame 2D Pose Maps)
3D動(dòng)作被分解為多個(gè)視角下的2D姿態(tài)圖(每一幀代表一個(gè)時(shí)間點(diǎn)的姿態(tài)),這些可以理解為不同角色下角色各個(gè)關(guān)節(jié)的位置信息,多視角的設(shè)計(jì)有助于提高3D重建的準(zhǔn)確性。
3.共享位置編碼 + 模態(tài)感知嵌入(Shared Positional Encodings & Modality-aware Embeddings)
為了讓視頻和姿態(tài)序列在時(shí)間和空間上保持一致,AnimaX引入了確保時(shí)間軸上同步性的共享位置編碼和能讓模型區(qū)分視頻圖像和姿態(tài)圖不同特性、又能在聯(lián)合空間將二者對(duì)齊的模態(tài)感知嵌入。
最終輸出的動(dòng)畫不僅看起來自然,還能準(zhǔn)確反映骨骼運(yùn)動(dòng)。
4.三角測(cè)量 + 逆運(yùn)動(dòng)學(xué)(Triangulation + Inverse Kinematics)
從多視角2D姿態(tài)圖中,通過三角測(cè)量恢復(fù)出3D關(guān)節(jié)坐標(biāo);然后使用逆運(yùn)動(dòng)學(xué)算法將這些3D關(guān)節(jié)位置轉(zhuǎn)化為實(shí)際的骨骼運(yùn)動(dòng),從而驅(qū)動(dòng)整個(gè)3D網(wǎng)格模型動(dòng)起來。
AnimaX使用了一個(gè)全新構(gòu)建、包含約16萬個(gè)帶骨骼綁定的3D動(dòng)畫序列的數(shù)據(jù)集進(jìn)行訓(xùn)練,在VBench基準(zhǔn)測(cè)試中展現(xiàn)了先進(jìn)的泛化能力、動(dòng)作保真度與高效性,能夠處理未見過的類別和復(fù)雜動(dòng)作,生成的動(dòng)作自然流暢,且符合物理規(guī)律。
了解詳情: https://anima-x.github.io/
代碼地址: https://github.com/anima-x/anima-x
02
Hedra AI
Hedra AI是一款基于AI的工具,目的是簡(jiǎn)化動(dòng)畫視頻的制作流程。用戶只需要提供簡(jiǎn)單的文字描述或靜態(tài)圖像,就可以在幾分鐘內(nèi),生成個(gè)性化虛擬角色的高質(zhì)量動(dòng)畫視頻。
Hedra AI 的主要功能
1. 創(chuàng)建個(gè)性化虛擬形象(Avatar)
只需上傳一張照片,或輸入詳細(xì)的文字描述,就可將其轉(zhuǎn)換為獨(dú)一無二的動(dòng)畫角色,支持從寫實(shí)到卡通等不同風(fēng)格,滿足各類項(xiàng)目需要。
2. 動(dòng)畫語音同步
只需輸入文本,即可驅(qū)動(dòng)虛擬角色,使其以自然、生動(dòng)的語音進(jìn)行表達(dá);也可以上傳自定義的音頻文件,讓虛擬角色根據(jù)音頻內(nèi)容進(jìn)行唱歌或朗誦,增強(qiáng)表現(xiàn)力與個(gè)性化體驗(yàn)。
3. 高級(jí)語音合成
輸入文字即可生成自然流暢的語音,用戶可以自由調(diào)整語調(diào)情感和語言風(fēng)格,滿足多樣化創(chuàng)作需求;支持語音克隆,讓虛擬角色擁有獨(dú)一無二專屬音色,提升真實(shí)感和辨識(shí)度。
4. 音樂整合
將角色動(dòng)作與背景音樂精準(zhǔn)同步,打造富有表現(xiàn)力的原創(chuàng)內(nèi)容;適用于音樂MV、廣告短片等多種創(chuàng)意場(chǎng)景。
5. 簡(jiǎn)單導(dǎo)出
支持高清視頻下載,也可一鍵分享到各大社交媒體平臺(tái)。
Hedra AI的特點(diǎn)
功能強(qiáng)大且高效便捷,適用于各類動(dòng)畫制作需求。且無需專業(yè)背景,即使是零基礎(chǔ)也能輕松上手,快速創(chuàng)作出高質(zhì)量、富有表現(xiàn)力的動(dòng)畫作品。
廣泛適用于教育視頻、市場(chǎng)營(yíng)銷、廣告宣傳、社交媒體內(nèi)容及娛樂創(chuàng)作等多種場(chǎng)景,滿足多樣化創(chuàng)作需求;同時(shí)Hedra AI還提供免費(fèi)試用計(jì)劃,支持按需升級(jí)。
多格式兼容,支持上傳多種主流圖片格式( 如 .jpeg、.png、.webp),只需輸入最多300個(gè)字符的文本,即可在60秒內(nèi)生成動(dòng)畫視頻,借助生動(dòng)的角色演繹,讓文字“活”起來。
試用嘗鮮:https://www.hedra.com/app/characters
03
Uthana
作為生成式AI與3D動(dòng)畫結(jié)合的賽道上,又一匹殺出重圍的黑馬,Uthana借助先進(jìn)的AI技術(shù),能夠?qū)崿F(xiàn)3D角色的秒級(jí)動(dòng)作捕捉,無需任何3D建模經(jīng)驗(yàn)即可輕松操作。
操作方法非常簡(jiǎn)單,只需要輸入用戶希望角色執(zhí)行的動(dòng)作描述,如“奔跑并右轉(zhuǎn)90°”、“開合跳”、“持劍攻擊”等,角色即刻就可成像相應(yīng)的動(dòng)態(tài)效果,動(dòng)作絲滑、栩栩如生。
同時(shí),Uthana的視頻動(dòng)作捕捉功能,允許用戶上傳現(xiàn)有視頻作為參考,只需簡(jiǎn)單的一鍵操作,就能分析視頻內(nèi)容,將其中的動(dòng)作數(shù)據(jù)轉(zhuǎn)化為高質(zhì)量3D動(dòng)畫。
利用先進(jìn)AI算法,確保捕捉到的動(dòng)作流暢自然,與原始視頻中的表現(xiàn)高度一致。
除此之外還可以通過自然英文語言搜索預(yù)設(shè)動(dòng)作,Uthana提供包含10000種預(yù)設(shè)動(dòng)作的動(dòng)作庫,方便用戶快速輕松找到最適合創(chuàng)意需求的動(dòng)作。
全面兼容性,無論角色采用何種骨骼綁定方式、體型大小如何,Uthana都能智能適配,支持各類自定義3D角色。
Uthana還提供強(qiáng)大的后期精細(xì)化編輯功能,用戶可以對(duì)生成的動(dòng)畫進(jìn)行進(jìn)一步優(yōu)化。用戶可以自由剪輯動(dòng)作時(shí)長(zhǎng)來完美貼合場(chǎng)景需求;啟用自動(dòng)循環(huán)功能,讓角色動(dòng)作自然銜接、持續(xù)生動(dòng);還可以對(duì)四肢和關(guān)鍵部位進(jìn)行單獨(dú)調(diào)整,精確控制姿勢(shì)和運(yùn)動(dòng)軌跡,打造出最細(xì)膩、最真實(shí)角色表現(xiàn)。
同時(shí)支持以多種通用格式(如 FBX、GLB)導(dǎo)出動(dòng)畫,確保無縫集成到現(xiàn)有的制作流程中,同時(shí)完美兼容Unreal、Unity、Maya、Blender 等主流創(chuàng)作工具,助力高效協(xié)作與快速落地應(yīng)用。
了解詳情:https://uthana.com/
試用測(cè)試版:https://uthana.com/user/signup
好啦,今天的分享就到這里,感興趣的小伙伴可以順著網(wǎng)址去試一波喲~
THE
CG
世界
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.