SIGGRAPH Asia,是ACM SIGGRAPH(國際計算機協(xié)會計算機圖形專業(yè)組)主辦的SIGGRAPH會議的亞洲版本，同樣是計算機圖形學(xué)、交互技術(shù)、數(shù)字藝術(shù)及相關(guān)領(lǐng)域的國際頂級學(xué)術(shù)會議。

與受疫情影響“門庭冷落”的SIGGRAPH Asia 2021相比，時隔三年在日本東京國際論壇舉行的SIGGRAPH Asia 2024就熱鬧很多，吸引了來自30個國家的約9000名研究者，算得上是大型盛會了。

去年12月在東京召開的SIGGRAPH Asia 2024，主題是“Curious Minds”，可以直譯為“充滿好奇心的人”，寓意著會議上介紹的作品以及研究人員深入研究最新技術(shù)的背后，都是由一顆“好奇心”所驅(qū)使。

雖然是亞洲版，但水準絕對還是SIGGRAPH的水準，下面小編就從眾多項目中，挑選幾個關(guān)注度比較高的給大家小小介紹下~

01

主題演講：一塊布的無限可能性

SIGGRAPH Asia的主題演講并非直接聚焦于CG/VFX，而是融合了一些與周邊行業(yè)相關(guān)的啟示性話題。2024年度的三場主題演講中反響最熱烈的，是三宅設(shè)計總監(jiān)宮前義之帶來的—“The Endless Possibilities of a Piece of Cloth”(一塊布的無限可能性)。

這場演講不僅打破了計算機圖形學(xué)與視覺特效的傳統(tǒng)技術(shù)框架，更通過科技與時尚的跨界融合，揭示了未來設(shè)計的革命性方向。

作為A-POC ABLE ISSEY MIYAKE的設(shè)計師，宮前義之長期致力于開發(fā)“A-POC”(A Piece of Cloth)這一創(chuàng)新理念和技術(shù)。他提到19世紀出現(xiàn)的采用穿孔卡片進行程序控制的雅卡爾織機，是現(xiàn)代計算機概念的先驅(qū)，為紡織品設(shè)計帶來了新的可能性。

“A-POC”超越了傳統(tǒng)的剪裁和拼接服裝制作方法，通過最小化布料的裁剪和縫制，使其轉(zhuǎn)變成立體形狀。這種方法不僅減少了浪費，還能實現(xiàn)美觀的設(shè)計。

此外，他還通過多個項目展示了技術(shù)和藝術(shù)結(jié)合的可能性，如使用米糠制成的環(huán)保碳材料制作衣物、應(yīng)用折紙技術(shù)的立體夾克以及研發(fā)遇熱變形的3D材料等。這些項目都著眼于環(huán)境循環(huán)設(shè)計、傳統(tǒng)與最新技術(shù)的融合，強調(diào)了除了技術(shù)進步外，人類直覺和感性的價值，以及跨領(lǐng)域?qū)＜液献鞯闹匾浴?/p>

這場主題演講在展望技術(shù)和藝術(shù)交匯點上的設(shè)計未來的同時，還傳遞出了將古老材料布與最新技術(shù)和創(chuàng)新思維相結(jié)合的未來愿景。

02

制作揭秘：《異形：奪命艦》致敬經(jīng)典與靜謐恐怖科技重構(gòu)

2024年上映的《異形：奪命艦》，以靜寂恐怖和宇宙深淵未知壓迫感為核心。負責該片特效的Weta團隊通過傳統(tǒng)模型工藝與數(shù)字技術(shù)結(jié)合，重構(gòu)了《異形》的視覺語言。

在展現(xiàn)巨大宇宙飛船崩塌的場景時，團隊繼承了舊作中“摧毀手工模型”的傳統(tǒng)方法，同時利用Houdini進行物理模擬，精細地構(gòu)建每一個內(nèi)部結(jié)構(gòu)細節(jié)。此外，雖然行星環(huán)的設(shè)計參考了土星的冰環(huán)，但通過使用Houdini進行程序化模擬生成，并針對每個鏡頭細致地定制密度和運動，使得整個影片充滿了緊張感，也給觀眾帶來了壓倒性的現(xiàn)場感。

《異形：奪命艦》既尊重了手工藝式的影像制作方法，又融合了最尖端的技術(shù)，創(chuàng)造了一種新的恐怖電影制作方式，讓觀眾能夠回到作品的起源，體驗?zāi)欠荨办o謐的恐怖”。

03

制作揭秘：微型精銳通才團隊開創(chuàng)日式極限創(chuàng)作

在第96屆奧斯卡金像獎上拿下最佳視效獎的《哥斯拉1.0》，VFX部分僅由一個35人小團隊完成，在預(yù)算和時間雙重限制下，顛覆了傳統(tǒng)好萊塢CG工業(yè)流程。

與眾多好萊塢電影中常見的分工體制不同，《哥斯拉1.0》團隊推行的是“全員通才”模式，每位成員需橫跨多環(huán)節(jié)，從生物綁定到流體模擬，多手抓，每手都要硬。

特別值得一提的是海水場景的流體動力學(xué)模擬。如果粒子數(shù)量不足就會導(dǎo)致質(zhì)感虛假，為此團隊每天進行大量測試，并通過龐大的模擬數(shù)據(jù)追求高質(zhì)量的粒子表現(xiàn)。

04

制作揭秘：《奧特曼：崛起》鮮亮視覺風格的背后

由Netflix和工業(yè)光魔(ILM)聯(lián)合打造的動畫作品《奧特曼：崛起》,以繪畫級視覺質(zhì)感和極致美術(shù)控場力，重新定義了特攝題材的數(shù)字美學(xué)邊界。

制作團隊為角色和背景創(chuàng)建了多層次的細致內(nèi)容，特別根據(jù)角色的情感和個性來設(shè)計了照明方式和動畫。

使用Katana通過節(jié)點化燈光系統(tǒng)，實現(xiàn)“情緒光譜”：主角Ken的戰(zhàn)斗場景采用冷藍色調(diào)與動態(tài)頻閃，暗示內(nèi)心的掙扎；奧特曼變身時刻則切換為金色放射光，致敬原版“光之巨人”的意向。通過Mari在角色皮膚紋理中嵌入多層歷史痕跡(如戰(zhàn)斗磨損、能量過載導(dǎo)致的血管灼燒)，甚至模擬出賽璐璐動畫的膠片顆粒噪點。

鏡頭光暈只在實拍的攝像鏡頭中自然發(fā)生，能夠給予觀眾眩目和光輝的印象，這里在特效中引入鏡頭光暈以增強視覺效果

忠實地再現(xiàn)了東京的城市景觀以及目黑區(qū)著名的老店“とんき”的內(nèi)部裝飾，作品真實性大幅提升

團隊采用了被稱為“動畫物理學(xué)”的獨特方法，將真實的物理模擬與動畫的時間安排相結(jié)合，以風格化的方式表現(xiàn)爆炸、水花等特效。

此外，還把2D動畫中的技術(shù)如“運動模糊”和“沖擊幀”應(yīng)用到了3D環(huán)境中，從而為場景增添了動感和緊張感，不僅豐富了視覺語言，也使得整個作品更加生動有趣。

05

制作揭秘：《幽游白書》動作預(yù)覽與VFX的完美結(jié)合

由國際視效公司操刀的《幽游白書》真人電影，憑借一段“零剪輯長鏡頭”火爆出圈。長達2分37秒的高密度戰(zhàn)斗場景，憑借“角色永不消失”的絕對連續(xù)性，將日式特技與好萊塢級數(shù)字技術(shù)推向了融合的臨界點。

從正式拍攝前，Megalis VFX團隊就使用“動作預(yù)覽（stunt-vis）”的技術(shù)，通過動作捕捉+AI軌跡預(yù)測，預(yù)先模擬動作場面，詳細規(guī)劃制作場景。

為了滿足導(dǎo)演“不能讓任何角色在觀眾視線內(nèi)消失”的嚴苛要求，團隊開發(fā)了“動態(tài)替身切換系統(tǒng)”，當真人演員因爆破等特效被遮擋時，無縫切換為高精度數(shù)字替身；利用眼球追蹤算法，確保替身與真人演員的視線方向始終鎖定觀眾焦點角色。

制作期間，團隊基于動作預(yù)覽和實拍創(chuàng)建了數(shù)字替身，并引入了使用Houdini高效生成玫瑰鞭等復(fù)雜資產(chǎn)的技術(shù)。在背景和角色調(diào)整合成時，采用了分割Nuke腳本進行管理的方法，即使在制作素材不斷更新的情況下，也能完成視覺上統(tǒng)一連貫的場景。

06

制作揭秘：《SHOGUN將軍》現(xiàn)實與VFX的較量

由瑞典VFX工作室Important Looking Pirates主導(dǎo)的史詩劇《SHOGUN將軍》，憑借“像素級歷史還原”和“規(guī)模美學(xué)”重新定義了歷史題材的視覺真實感。

SIGGRAPH Asia 2024會上，ILP視效總監(jiān)也揭秘了這場穿越400年的數(shù)字造物運動。

從制作早期階段，ILP就參與其中，基于詳盡的研究來確保歷史準確性，進而創(chuàng)建VFX。為了還原日本戰(zhàn)國時期服飾動態(tài)，開發(fā)基于和紙褶皺原理的“千代紙算法”，通過再現(xiàn)不同武士階層的獨特服飾和動作等歷史上重要的細節(jié)，真實還原時代場景。

在海洋場景中，將實拍素材與CG生成的水面和水花相結(jié)合，實現(xiàn)了自然水流的真實表現(xiàn)。參考江戶時代浮世繪中的浪花形態(tài)，使用Houdini程序化生成“菱型碎浪”再現(xiàn)了海浪洶涌及反射變化等接近真實自然環(huán)境的質(zhì)感。

此外，電影中還出現(xiàn)了10萬人規(guī)模的群集場景。為了同時實現(xiàn)壯觀的規(guī)模感和高質(zhì)量的視覺效果，團隊采用了被稱為“香腸軍隊”的技術(shù)管理大量角色，即在不顯眼的角色上使用簡單形狀表示，從而在有效處理大規(guī)模人群的同時保持個體行為的歷史考據(jù)。

07

基于個性化素材的復(fù)雜提示生成圖像技術(shù)「PALP」

Google Research的研究團隊,提出了一項目名為“PALP(Prompt Aligned Personalization:提示對齊個性化)”的技術(shù)，能夠在使用寵物等個性化主體生成圖像時，提高與復(fù)雜文本提示之間的一致性。

傳統(tǒng)方法難以同時滿足個性化主體特征保留與文本提示一致性的需求，導(dǎo)致基于個性化主體的復(fù)雜圖像生成變得困難。而PALP技術(shù)，通過對特定提示進行個性化適配，能夠讓生成的圖像更好地與提示內(nèi)容相匹配。

具體來說，團隊采用一種稱為“得分蒸餾采樣(Score Distillation Sampling)”的方法，通過量化生成圖像與提示的匹配度來優(yōu)化一致性；即使是對復(fù)雜詳細的提示，也能實現(xiàn)高度的文本一致性，從而合成多個主體，或基于參考圖像進行創(chuàng)作，生成新的圖像。

解決了以往結(jié)合個性化主體和詳細文本描述時遇到的問題，不僅提升了生成圖像與用戶需求之間的匹配度，還極大地擴展了圖像生成技術(shù)的應(yīng)用范圍和創(chuàng)造性潛力。

08

基于擴散模型的線稿動畫著色技術(shù)「LVCD」

由香港大學(xué)的研究團隊開發(fā)的，名為“LVCD（Lineart Video Colorization with Diffusion Models：使用擴散模型進行線畫視頻著色）”的AI系統(tǒng)，能夠通過輸入線稿動畫幀序列和參考彩色原畫，實現(xiàn)線稿動畫的自動著色。

LVCD由三大核心模塊組成：

1.線稿-視頻轉(zhuǎn)換模塊：

通過大量數(shù)據(jù)學(xué)習(xí)，實現(xiàn)線稿圖像到視頻轉(zhuǎn)換的模塊；

2.參考式著色模塊：

先學(xué)習(xí)基礎(chǔ)線稿著色能力，再結(jié)合參考彩色原畫風格進行動態(tài)幀著色；

3.時序擴展模塊：

在保持原視頻特征連貫性的前提下，實現(xiàn)動畫播放時間的智能延長。

當然，這項技術(shù)目前還存在一定的局限性，雖然LVCD在自動化著色方面取得了顯著進展，但在某些復(fù)雜場景下仍需要改進或人工干預(yù)。

09

ToonCrafter:輸入2張原畫即可生成復(fù)雜動作中間幀

繼LVCD之后，香港大學(xué)研究團隊再度推出顛覆性AI工具ToonCrafter，只需輸入兩張關(guān)鍵原畫，即可生成包含復(fù)雜運動與遮擋關(guān)系的高質(zhì)量中間幀。

ToonCrafter，突破傳統(tǒng)原畫間圖像補全算法對線性運動假設(shè)的依賴。團隊開發(fā)了一種專門針對動畫的插值圖像處理技術(shù)，利用實拍視頻-動畫映射學(xué)習(xí)，將真人動作的物理軌跡轉(zhuǎn)化為動畫運動規(guī)則。

除此之外，研究團隊還介紹了一款名為“草圖編碼器(Sketch Encoder)”的工具，允許用戶通過手繪中間幀的方式來微調(diào)運動的生成過程，這意味著用戶可以更加精確地控制動畫中角色的運動細節(jié)。

10

DiffuHaul:實現(xiàn)圖像內(nèi)物體拖拽式編輯

NVIDIA研究院團隊發(fā)布的革命性AI工具DiffuHaul，能夠在保持圖像整體特征的同時，允許用戶拖拽圖像內(nèi)物體進行編輯。用戶可以直接拖動畫面中的對象至任意位置，AI自動補全背景并保持全局一致性。

DiffuHaul整合了兩個核心模塊：

「BlobGEN」模塊用于識別對象位置變更前圖像的特征；另一個是執(zhí)行對象移動過程中圖像生成任務(wù)的「Gated Self-Attention Masking」模塊。

不過，DiffuHaul也存在如無法旋轉(zhuǎn)或改變移動對象的大小、以及不能處理拖動對象時發(fā)生的碰撞問題等限制。

11

GaussianObject:僅用四張不同視角圖像即可生成3D模型

華為研究院團隊推出了3D生成式AI，GaussianObject。能夠通過4張不同視角拍攝的物體照片，一鍵生成高精度3D模型。

GaussianObject，利用從2D圖像生成3D對象的方法高斯噴射(Gaussian Splattering)，通過粗粒度高斯分布快速構(gòu)建物體的幾何輪廓，識別基礎(chǔ)形狀、估算材質(zhì)反射屬性與初步展UV；在初階模型表面疊加細粒度高斯核，捕捉微結(jié)構(gòu)，采用光照感知優(yōu)化根據(jù)輸入照片的光影反向推算環(huán)境光照貼圖。

但由于GaussianObject是基于四張圖片生成3D對象，這意味著模型不可見區(qū)域可能會產(chǎn)生所謂的圖像幻覺(hallucination)，出現(xiàn)違背真實物理的現(xiàn)象。

12

Still-Moving:從文本到風格化視頻

Google DeepMind團隊推出的AI系統(tǒng)Still-Moving，實現(xiàn)了從文字→圖像→風格化視頻的全鏈路生成。

Still-Moving整合了基于文本生成圖像的AI模型和動態(tài)風格遷移模塊，將文本想象力無縫轉(zhuǎn)化為動態(tài)視覺敘事。在動畫、油畫、像素藝術(shù)等10種不同風格的測試中，視頻幀與原圖風格相似度達89.2%，物理合理性評估超越同類工具。

當然作為一項新技術(shù)，Still-Moving同樣存在局限性：若初始圖像生成偏離用戶意圖，后續(xù)的視頻可能不符合用戶預(yù)期；還可能出現(xiàn)過擬合問題，導(dǎo)致視覺效果不夠理想。

13

TrailBlazer:可指定運動和變形的視頻生成AI

新西蘭惠靈頓維多利亞大學(xué)研究團隊，開發(fā)了一款新型視頻生成AI「TrailBlazer」，允許用戶直接控制生成視頻中物體的運動軌跡和形態(tài)變化。

TrailBlazer基于擴散模型框架，通過大量圖像序列生成視頻；同時引入運動控制模塊，將用戶指令編碼為空間約束條件，引導(dǎo)生成過程。

用戶可以在生成視頻中框選任意對象，并指定其運動方向，TrailBlazer將根據(jù)指令生成符合物理規(guī)律的運動軌跡，支持同時控制多個對象的獨立運動?？蓪崿F(xiàn)對象形態(tài)的漸進式轉(zhuǎn)變，變形過程能夠保持視覺連貫性，支持變形與運動復(fù)合操作。

不過TrailBlazer目前受限于概率生成機制，可能會出現(xiàn)運動軌跡偏移或變形邏輯異常；復(fù)雜指令易導(dǎo)致生成失敗，或最終視頻與預(yù)期不符。

14

Style-NeRF2NeRF:可通過文本指令編輯由NeRF生成的3D場景

東京大學(xué)及其研究團隊推出了名為「Style-NeRF2NeRF」的AI系統(tǒng)，允許通過文本指令對由神經(jīng)輻射場（NeRF）生成的3D場景進行風格化編輯。

例如，用戶可以先使用NeRF從多個圖像中生成一個農(nóng)場場景，然后通過輸入“復(fù)古動畫風格的農(nóng)場”這樣的描述，得到經(jīng)過編輯、符合預(yù)期風格的3D場景。

Style-NeRF2NeRF不僅適用于NeRF生成的3D場景，同樣也可以應(yīng)用于使用高斯散布(Gaussian Splattering)這一3D場景生成技術(shù)創(chuàng)建的場景。

但目前Style-NeRF2NeRF對于包含有精細紋理圖案的薄物體（如草木）的3D場景，或是結(jié)構(gòu)復(fù)雜（如放置在不同背景前的人物）的3D場景，進行編輯時可能會失敗。

15

URAvatar:手機端多光照虛擬形象生成AI

由Meta研究團隊發(fā)布的名為「URAvatar」的生成式AI，可以通過智能手機掃描用戶的頭部，在多種照明條件下生成相應(yīng)的虛擬形象(avatar)。

URAvatar通過深度學(xué)習(xí)不同光照環(huán)境下拍攝的人體頭部掃描數(shù)據(jù)，創(chuàng)建能夠適應(yīng)多種照明條件的通用虛擬形象。突破傳統(tǒng)專業(yè)設(shè)備限制，支持普通智能手機完成數(shù)據(jù)采集，且無論是在明亮的日光下還是昏暗的室內(nèi)環(huán)境中，生成的虛擬形象都自然真實。

Meta研究團隊認為，盡管存在一些挑戰(zhàn)，但URAvatar為“虛擬傳送”概念提供了技術(shù)支持，RAvatar在元宇宙社交、遠程虛擬會議等領(lǐng)域具有應(yīng)用潛力。

16

DualGS:高精度動態(tài)體積視頻生成系統(tǒng)

上?？萍即髮W(xué)研究團隊發(fā)布的創(chuàng)新性體積視頻生成技術(shù)DualGS，能夠精準捕捉如樂器演奏等復(fù)雜人體運動，實現(xiàn)毫米級動作還原。

DualGS突破了傳統(tǒng)單模建模局限，采用雙通道高斯建?？蚣?。關(guān)節(jié)運動高斯模型，通過6自由度參數(shù)化精準解析肢體運動軌跡；表面形變高斯模型，采用可微分渲染實時重建皮膚表面微觀形變。

此外，研究團隊還開發(fā)了DualGS Player，使得生成的體積視頻可以通過VR頭盔或智能手機等移動設(shè)備觀看。

然而DualGS也存在一些限制。例如，在捕捉像樂器的弦或頭發(fā)這樣細小物體的動作時，可能無法實現(xiàn)精確的跟蹤。同時，該技術(shù)目前還不支持對生成視頻中的照明條件進行修改。

值得一提的是，在SIGGRAPH Asia 2024大會上，277篇入選技術(shù)論文中有超過50篇涉及人工智能技術(shù)，這或許標志著圖形AI正在成為CG領(lǐng)域的核心發(fā)展方向。

E N D

“肝”一把！萬一成了呢，名利雙收!

看了大神作品，明白了為啥人家工資高