影院體驗很爽，異能武術觀感極佳，不過，回憶部分的動畫比較奇怪。
——豆瓣觀眾

我特別喜歡AI那段，這個呈現方式非常新，既能保證表演準確度又能保證視覺風格化。
——原著作者米二

電影制作精良、演員表演準確，人物關系清晰、故事節奏明快、還有AI動畫的技術創新，值得4星。
——電影人@張小北

電影對新技術的應用，體現在真人摹片動畫與人工智能技術的結合上。
——導演烏爾善

由導演烏爾善執導、胡先煦、李宛妲主演的奇幻動作大片《異人之下》正在公映中。電影改變自“巔峰國漫”《一人之下》，誕生8年就突破300億點擊量。

△ 漫畫《異人之下》點擊量突破300億

電影《異人之下》所講述的僅僅是漫畫第一篇的內容。

這一篇介紹了主角張楚嵐和馮寶寶的身世，異人世界的基礎設定以及江湖各路勢力。

由于這一篇章的故事包含了大量人物回憶，烏爾善導演創新性地在回憶段落使用了AI加持的真人摹片動畫。

烏爾善為什么要用真人摹片動畫？電影是怎么將AI與真人摹片動畫結合的？這些動畫在電影中發揮了怎樣的作用？這一技術在影視行業的應用潛力如何？

今天這篇文章就給大家說個明白。

1.在真人與動畫之間：AI 助力創造2.5次元

《異人之下》電影中，張楚嵐被徐翔拉入自己的回憶，為他講述自己與馮寶寶半生的故事。此時，電影畫面由真人瞬間轉變為動畫。

據烏爾善介紹，片中十八分鐘的回憶片段不是常規的動畫，而是劇組獨創的新技術。

《異人之下》劇組首次在院線電影制作中結合了真人摹片動畫與AI技術，創造了“將演員真實表演二維風格化”的獨特質感。

那么，到底什么是“真人摹片動畫”？

真人摹片動畫是轉描動畫的一種。轉描動畫（Rotoscoping）是動畫師以活動影像作為模板進行逐幀摹寫再連成的動畫，被描摹的影像可以是任何動態事物；而真人摹片動畫則是以真人活動影像作為模板的轉描動畫。

常規的真人摹片動畫有兩個工作流程：真人實拍和手工摹寫。

而電影《異人之下》中的AI真人摹片動畫增加到了五個工序：真人實拍、關鍵幀摹片、動態摹片、3D特效制作、2K轉4K。

△ AI真人摹片動畫的五個工序

在真人實拍環節，演員在綠幕前完成表演。動畫師隨后對拍攝素材進行原畫摹片，為真人“刷上一層漫畫感”。

在“關鍵幀摹片”環節，動畫師在原畫摹片基礎上增加背景、光影、色彩，使人物和場景合一。

在3D特效制作環節，劇組在傳統的轉描動畫基礎上再用AI的方式生成一遍動畫的部分，并進行風格遷移，讓動畫更接近真人影像。

對于這次在真人電影插入動畫的嘗試，并不是所有人都理解。

很多人疑問：既然演員們都在，劇組還為只出現在回憶中的角色張錫林邀請了尚鐵龍這樣的老戲骨來演，為什么不能直接用真人拍回憶中的故事？

面對這些疑問，烏爾善表示這種設計是因為要在電影中區分回憶和現實，也是在向原作漫畫致敬，希望用全新的視覺方式讓原作粉在電影院里“重走回憶名場面”。

“動畫部分最核心的事就是要讓觀眾一下子知道這是在致敬原漫畫”，烏爾善導演在動畫測試會議上這樣強調。

△ 電影《異人之下》復刻漫畫名場面

雖然烏爾善導演不斷強調“向漫畫致敬“，似乎想吸引漫畫粉絲，但對于動畫風格的選擇又盡可能向大眾需求靠攏。

原著漫畫和改編動畫都是2D畫風，但為了讓沒看過漫畫的大眾能將真人演員和動畫人物一一對應，劇組選擇了轉描動畫這一形式。

相較于手繪動畫更大的自由度，轉描動畫有著基于現實的表意風格。

《異人之下》的18分鐘動畫中的人物形象、神態與演員在電影中的表現高度一致。

此外，劇組使用AI對動畫進行的風格遷移更是讓動畫更加立體、更接近真人影像質感。

雖然電影為新技術付出了巨大努力，但觀眾似乎并不太買賬。

《異人之下》漫畫中的回憶部分包括了很多具有情感沖擊力的情節，如張錫林臨終托孤幼孫、徐翔與馮寶寶的半生羈絆等。

在電影中，受到時長限制，以及動畫帶來的演員表演細節的流失，不少漫畫粉認為電影“該感人的地方不感人”、“回憶部分看不進去”。

有評論說：“在電影院聽到'黃楊扁擔'時已經準備開哭了，結果看到AI的詭異畫風，眼淚又生生憋回去了“。

對于沒看過原作的觀眾而言，動畫的回憶雖然沒帶來理解障礙，但也沒帶來技術上的驚艷感，普遍認為動畫部分“像PPT”、“廉價”、“僵硬”。

對此，故事接龍StoryStorm AI內容社區發起人、編劇宋東桓認為有很多因素導致了觀眾對這一新技術的冷感。

首先，電影從拍攝到后期制作到上映有很長一段周期，因此其采用的技術是有一定滯后性的。

AI一天，人間十年。雖然距離劇組完成后期可能不足一年，但在上映的今天再看到《異人之下》使用的AIGC技術，可能已經有些許落后了......

另外，AIGC這種高速發展的技術得到了大量關注，人們對創作者的要求也在不斷升級。

今天人們可以在各種手機小程序上實現穩定的“AI轉繪”操作，在電影院看到高度接近真人的動畫就不會感到驚艷了。

2.AI+轉描動畫=？

轉描（Rotoscoping）就是把拍攝的視頻用紙描下來再做成動畫，由美國動畫大師馬克思·弗雷歇爾（Max Fleischer）在1914年發明。

因為早期動畫技術的限制和追求真實感的理念，有大量的動畫作品使用了這種方法。

△ 早期動畫師在轉描機上制作動畫

1937年，迪士尼推出了第一部動畫電影《白雪公主》。為了生動表現白雪公主跳舞的畫面，迪士尼聘請了女舞者錄制了影像供動畫師參考。

△ 舞蹈演員影像與轉描后的動畫

1941年中國也是亞洲的第一部動畫長片《鐵扇公主》同樣使用了轉描技術。

△ 《鐵扇公主》海報

隨著動畫技術的不斷成熟，近年來轉描的使用逐漸變少，但沒有完全消失。

新世紀以來，《捷克列車員》、《半夢半醒的人生》、《她真漂亮》等轉描動畫都廣受好評。

△ 《捷克列車員》海報

過去一年多里，隨著AIGC不斷侵入各個領域，不少人開始探索AI能不能用于轉描動畫。

一直以來，轉描動畫的優點在于以相對低的成本讓動畫師畫出流暢準確、有真實感的動作。

而轉描動畫的缺點在于人物做動作時色塊的位移和線條的“抖動感”，以及有更多的細碎動作。

當人們試著用AI技術輔助制作轉描動畫（被稱為“AI轉繪”）時，這些缺點也依然存在。

2022年，一部名為《烏鴉》（The Crow）的兩分鐘動畫短片就使用了AI轉繪技術。

原始素材中真人舞者穿著黑色長裙翩翩起舞，經過AIGC工具的轉繪后，舞者變成了一只躍動的烏鴉。

這個短片在技術上沒有解決噪點閃爍的問題，但這些技術缺陷反而為短片營造出一種其荒誕詭譎的獨特氛圍，助力影片贏得了戛納電影節中短片競賽單元的評審團獎。

同樣在2023年，Youtube著名特效頻道Corridor團隊就使用AI繪圖軟件Stable Diffusion，以AI轉繪的方式創作了一部7分鐘短評《剪刀石頭布》，收獲了廣泛的好評，截至目前播放量已經達到470萬。

△ AI轉繪動畫《剪刀石頭布》收獲超過400萬的點擊量

從這個短片看，AI轉繪動畫依然有光影不斷抖動、人物動作僵硬等問題，但觀感上在可以接受的范圍內。

很多國內網友感嘆：“已經比很多工期短又沒錢的動畫工作室做得好了”。

2024年3月，介紹已故美國黑人歌手Jackie Shane的紀錄片Any Other Way: The Jackie Shane Story在西南偏南電影節公映，這部紀錄片大量使用了AI轉繪動畫。

由于歌手生前影像資料的缺失，導演邀請了兩位演員扮演青年和老年的Jackie進行真人拍攝，再訓練Stable Diffusion對拍攝素材進行轉繪。轉繪動畫最終占據了紀錄片三分之一的時長。

從預告片看，記錄片的轉繪動畫抖動明顯。不過動畫的油畫質感、根據歌手所處時代不斷變化的色彩濾鏡營造了一種對逝去的神秘歌手的追憶氛圍。

△ 轉繪動畫重現這位神秘歌手的生前風采，又制造了復古緬懷氛圍

24年4月，在北京國際電影節“AIGC電影短片單元”競賽中獲得最佳影片獎的AI動畫短片《致親愛的自己 To Dear Me》也用了AI轉繪技術。

短片中的人物有大量的大幅度動作，但人物的細節樣貌以及關鍵道具蒲公英戒指都保持了高度的穩定性。

△ 《致親愛的自己 To Dear Me》劇照

無論是用AI模型對真人摹片動畫進行渲染，“增加一層漫畫感”，還是用AI描圖軟件將視頻逐幀變為2D特定畫風，在AI技術還不足以“獨立行走”的今天，AI已經與傳統的動畫技術碰撞出了很多有趣的火花，而且正在取得飛速的進步。

3.未來已來？AI 轉繪動畫的技術潛力

《異人之下》是國內首部將轉描動畫結合AI技術的院線電影。

那么，AI轉繪動畫的發展潛力如何？國內的技術發展又處于什么階段？

對于這些問題，宋東桓分享了自己的觀點。

宋東桓曾經擔任第十四屆北影節AI短片單元初評評委，主辦與聯合發起過超過30場AI短片賽事節展。談到轉描動畫，他認為這種有百年歷史的技術今天依然有生命力，而AI轉繪大大提升了這項技術的執行效率。

比如2019年Amazon Original的高分口碑劇《抹去重來》就使用了轉描技術，劇中有很多充滿想象力的轉場。

△ 電視劇《抹去重來Undone》海報

雖然《異人之下》是第一部使用AI轉繪動畫的電影，但未來一定會有越來越多電影使用AI轉繪技術；這種技術可以用較低成本來實現較復雜的特效，用同一的動畫風格來代替實拍中要求較高的合成工作。

關于AI轉繪的發展潛力，宋東桓認為目前AI技術處于高速發展中：

截止到今年年初，AI轉繪的標準還是“像”，但如今人們更看重神似而非形似的作品。

再下一步，AI轉繪的標準應該是“無中生有”并且穩定。一個框架綠幕，經過轉繪可以變成城堡大門、水簾洞，而且細節又高度統一。

AI轉繪動畫的另一個發展方向就是電影劇組使用3D模型+新一代AI手K，與真人拍攝摹片相結合來達成制作。

同樣的事情在20年前也發生過——當沃卓斯基兄弟首次在《黑客帝國：重裝上陣》中使用3D生成的角色完成“Neo大戰100個史密斯”時，真人拍攝和3D動畫就實現了非常有機的運動結合。

△ 《黑客帝國》中100個史密斯的經典場景

去年夏天，烏爾善嘗試運用多種現代電影技術去闡釋中國神話；

今年，烏爾善又一次成為“吃螃蟹的人”，首次在真人電影里大膽加入了不小篇幅的AI轉繪動畫。

從大眾的反饋看，《異人之下》這次“打破次元壁”的嘗試不算完全成功。

但是，這次技術上的求新或許會未來更多國產真人電影和動畫帶來靈感，技術的不斷積累也可能在未來帶給觀眾更大驚喜。

烏爾善導演一直用大投入的巨制影片推動中國電影的工業化進程，而其中積累下的寶貴經驗，也終將助力中國電影用科技講好中國故事。