生成式人工智能(Generative AI)正以變革性的力量重塑好萊塢,為娛樂行業的創意流程和分發模式帶來深遠影響。從概念藝術到面部替換、視頻生成,再到AI配音,這些工具在提高效率、激發創意和擴大規模方面展現了巨大潛力,正在成為制作工作流程中不可或缺的一部分。好萊塢知名行業媒體《綜藝》去年發布了名為《好萊塢生成式AI進展特別報告》,影視產業觀察編譯了其中部分精華內容,供業界參考。
生成式AI與創意表達的結合
1 概念藝術
在概念藝術創作中,生成式AI的應用逐漸增加,但范圍受到限制。概念藝術包括角色、場景、建筑、服裝和道具設計,尤其在奇幻、科幻和動作項目中需求較大。傳統上,藝術家依賴圖庫、影視參考或網絡圖片,而AI圖像現在被用作創意起點,為設計提供初步參考。然而,大型制片廠出于版權風險考慮,通常限制AI圖像作為最終藝術作品的使用。
AI圖像還用于加速創意反饋流程。在最終素材渲染前,生成式AI可通過壓縮將傳統需要數天甚至數周的反饋周期至一天內完成。一些制片廠直接使用AI生成的圖像向VFX團隊傳遞設計概念,而無需通過文字描述。此外,這類AI圖像也開始用于提案材料(Pitch Deck),這可能在一定程度上取代藝術家的部分工作。在影視項目立項前的“藍圖階段”,制作人通常需要與藝術家合作開發項目的整體風格和世界觀。現在,制作人可能使用生成式AI工具替代部分藝術家完成提案材料,從而減少聘用人數。
盡管應用廣泛,生成式AI仍面臨諸多爭議。版權風險是最大的阻礙,此外,AI生成圖像的質量也存在局限。雖然表面看起來不錯,但AI圖像往往風格雷同,且可能存在解剖結構錯誤等問題。這對概念設計至關重要,因為角色或物體的運動設計需要準確的結構參考。不合格的AI圖像傳遞到后續部門(如道具制作或3D建模)可能增加額外工作量。
一些制片廠已要求藝術家在工作中使用AI工具,但許多藝術家對此持反對態度,認為這些AI模型是通過他們的作品訓練出來的。概念藝術家可能是最早受到生成式AI影響的群體之一,他們面臨著工作機會減少和倫理爭議。一些藝術家報告稱工作量下降,或報酬水平出現異常下滑。
2 故事板
在傳統的故事板創作中,生成式AI的應用尚不顯著,但相關工具正在逐步發展。例如,Lore Machine基于Stable Diffusion技術,支持30,000字的上下文篇幅和150多種微調藝術風格,幫助編劇將文字轉化為故事板或動畫。目前,其主要用戶以品牌客戶為主。一些導演和編劇也在使用Runway和Cuebric等平臺制作簡單的動畫分鏡。
然而,生成式AI故事板是否能真正滿足導演和動畫師的需求仍有待驗證。在傳統制作中,故事板藝術家需繪制腳本的關鍵情節或動作變化,并與導演多次協作調整鏡頭角度和敘事順序。這需要可視化系統對細節有高度的控制能力。不過也有藝術家指出,故事板的核心在于清晰傳達想法,而非精美渲染,“即使是簡單的草圖,只要表達清楚,創意勝過精致的視覺效果。”
3 場景設計
生成式AI正在改變場景設計的方式,特別是在虛擬制作的LED屏幕或綠幕場景中。如果對細節要求不高,這些工具已能滿足實際制作需求。例如,Cuebric被廣泛用于小成本電視項目的虛擬背景制作,能夠快速生成較高質量的場景,盡管質量尚不足以支持大成本電影。
Cuebric支持根據文本提示生成場景的二維圖像,也可以將草圖轉換為電影級渲染。用戶可以選擇使用Stable Diffusion基礎模型或定制的微調模型。生成的圖像會被自動分割為多個對象圖層(如前景中的樹和遠景中的山脈),每個圖層都可單獨修改或提升分辨率。最終的場景可以導出為2.5D或2.75D深度圖,精確呈現每個對象的空間距離。這些深度圖可與攝像機跟蹤軟件(如Disguise)兼容,同時支持Unreal Engine、Unity、AutoCAD等平臺的集成。
4 視頻生成
OpenAI和Google推出了視頻生成模型Sora和Veo,與好萊塢創意社區合作進行測試,以收集反饋并逐步擴展應用。這些模型被認為是計算機生成圖形(CGI)的新階段,但目前尚不足以取代物理攝像機或傳統視覺特效(VFX)在高端制作中的作用。盡管尚未廣泛用于主流影視項目,AI生成視頻已在獨立電影制作中有所應用。然而,生成內容的版權問題和商業分發仍存在爭議,許多輸出作品被視為公共領域作品。因此,這些模型當前更適合用于前期可視化,而非直接作為屏幕素材。
Sora展示了強大的虛擬攝像功能,能夠逼真模擬布料、液體和反射材質,并成功突破“恐怖谷”,生成了高度逼真的普通人物形象。它還具備精準還原多種攝像機效果的能力,包括運動模糊、快門速度、鏡頭畸變、漸暈失真、景深等。此外,Sora能夠根據復雜提示按順序生成事件,為電影人提供了豐富的創意工具。例如,電影人Paul Trillo在測試中開發了“無限變焦”技術,通過快速鏡頭移動展現了復古8mm或16mm膠片的獨特效果。借助這一模型,導演不僅能實現傳統攝像機難以完成的鏡頭,還可探索完全無法通過物理設備實現的場景。
盡管視頻生成模型功能強大,但質量和可控性仍存在問題。分辨率和一致性雖顯著提升,但生成內容仍可能出現偽影、遮擋、變形和解剖錯誤。這是因為模型基于二維視頻數據訓練,缺乏對三維物理法則的理解。開發者認為這些問題將隨著技術進步逐步緩解,但難以完全消除。此外,模型對文本提示的響應缺乏精細控制,輸出結果往往不可預測。尤其在主流影視項目中,攝像機拍攝往往仍是更高效的選擇。
一致性問題進一步限制了模型在復雜制作中的應用。目前,模型難以在不同提示下保持角色、物體、場景或風格的一致性。盡管開發者嘗試結合圖像或視頻作為生成條件以改善這一問題,但語言在描述視頻內容方面的不足使這一改進面臨挑戰。此外,模型在生成細膩的演員表演(如正反打鏡頭)時效果較差,某些模型對輸出內容設有限制以避免生成暴力、色情或侵犯知識產權的內容。同時,生成的視頻仍缺乏音頻功能,但開發者正在努力整合語音和音效以彌補這一缺陷。
盡管存在局限性,視頻生成模型仍展現出作為輔助工具的巨大潛力。當前,這些模型可低成本生成輔助鏡頭素材(B-roll鏡頭)、全景鏡頭或補拍鏡頭,甚至在傳統方法難以實現的場景中大顯身手。隨著技術進步,視頻生成模型有望逐步成為影視行業的重要創意工具。
5 面部置換
深度學習模型通過大量3D捕捉的演員數據進行訓練,為生成逼真的視覺特效提供了支持。VFX工作室(如Digital Domain、ILM和Framestore)長期以來致力于開發“數字人”技術,近年來,一些AI初創公司也開始進入該領域,為好萊塢高質量制作提供服務。與此同時,“深偽”技術也被廣泛應用于演員外貌的微調,例如去除眼袋和皺紋等。以MARZ的Vanity AI為例,該工具能夠隔離特定面部區域,并自動將修改效果傳播到多個鏡頭中。此外,替身演員的面部替換也非常常見,通過技術將替身的臉替換為演員的3D面部模型。
一些AI工具,如Flawless的Deep Editor和MARZ的LipDub AI,不僅能夠實現臺詞替換,還可以減少昂貴的重拍需求。這些工具為導演和編輯提供了更多靈活性,甚至減少了現場多次拍攝的必要。這項技術還被用于好萊塢大制作中的快速老化或返老還童效果。例如,Metaphysic公司為湯姆·漢克斯和羅賓·懷特主演的電影《Here》完成了返老還童特效,大幅提高了效率。
相比傳統VFX依賴面部跟蹤、多邊形操作和CGI渲染的方式,Metaphysic使用GPU驅動的AI技術效率提升了數倍。傳統返老還童效果的制作成本可高達5000萬美元,且需要全球數百人長期協作,而Metaphysic僅用30人花4個月便完成了同樣的工作。導演和制作人對這項技術的興趣激增,除了老化效果,它還被應用于生物角色的面部表演。
此外,Metaphysic Live支持實時面部置換,可用于電視直播、音樂會和演講等活動。盡管與電影級效果相比略有差距,實時版本僅需一晚訓練,也能達到接近數百名藝術家數月工作的質量。
6 AI配音
對于高級電影和電視內容,生成式AI配音的短期前景尚不明朗。該技術尚未廣泛用于國際流媒體或主要院線發行的高端內容。盡管合成語音在成本、速度和規模上具備優勢,但質量仍不及傳統配音演員。內容本地化網絡與客戶以非公開方式測試這些技術,但普遍認為技術“尚未成熟”,不適合現有工作流程。
在“低風險”內容領域,合成語音已能滿足質量要求,尤其是在速度和規模優先于質量的場景中。例如,社交媒體視頻剪輯和拉丁美洲FAST頻道內容庫的本地化。Papercup的客戶包括新聞出版商和體育聯盟,他們通過YouTube擴大非英語觀眾覆蓋范圍。ElevenLabs也在開發實時配音功能,為直播節目本地化提供可能性。相比之下,在電影和電視領域,AI配音開始被考慮用于“長尾”語言(如撒哈拉以南非洲或印度的方言),這些語言因受眾較小無法支撐傳統配音成本。測試的重點在于評估AI配音是否“聊勝于無”,以接觸未開發市場并變現新受眾。不過,在無“配音文化”的市場,配音可能完全無經濟價值。
傳統高端內容的配音流程復雜且耗時,通常需要雙語翻譯、腳本改編、導演、配音演員和音效工程師的協作。從腳本翻譯到最終音軌交付可能需16周。ElevenLabs推出的Dubbing Studio工具簡化了這一流程,允許用戶調整情感、時機和發音。例如,可通過文本提示或語音樣本定制模型以生成特定語調(如憤怒或悲傷)。此外,語音克隆技術則更具潛力,允許在配音中使用原演員的聲音。但目前技術尚未達到規模化應用,更像是高端內容的“噱頭”。
盡管如此,其對觀眾接受度的提升尚未驗證。在一些市場,固定的國際配音演員更受觀眾歡迎,例如德國觀眾已經習慣了為布拉德·皮特配音的固定演員。
結論
隨著好萊塢不斷探索生成式AI技術的應用,未來的發展需要在充分發揮AI技術創意潛能的同時,應對其技術和倫理方面的限制。盡管像AI視頻生成和語音克隆這樣的工具展現了巨大的可能性,但行業必須確保這些技術的使用是對藝術創作的補充,而非取代傳統手工藝的精髓。通過審慎應對這些問題,好萊塢有望將生成式AI轉化為推動創意與多樣性的重要工具,以前所未有的方式擴大其全球觀眾的覆蓋范圍。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.