本文刊發(fā)于《現(xiàn)代電影技術(shù)》2024年第5期

專家點評

交互電影作為一種新興視聽模式，具備獨(dú)特的敘事方式和更高的觀眾參與度。隨著人工智能技術(shù)和AIGC的不斷進(jìn)步，特別是自然語言處理（NLP）和感知決策框架的發(fā)展，交互電影的創(chuàng)作和體驗正在經(jīng)歷一場革命性變革，有望在大模型技術(shù)助力下引領(lǐng)電影藝術(shù)進(jìn)入一個全新時代。《人工智能角色在交互電影中的涌現(xiàn)能力研究》一文通過整合大語言模型（LLM）的自然語言交互能力，將AIGC技術(shù)應(yīng)用于電影創(chuàng)作，不僅為電影角色賦予了智能和新鮮活力，還為觀眾提供了一種全新的互動體驗。通過人工智能角色的文本生成和行為決策的交互能力分析，文章驗證了AIGC技術(shù)在交互電影創(chuàng)作中的涌現(xiàn)能力和可行性，為未來電影敘事的發(fā)展提供了新的思路和方向。該研究成果不僅對電影創(chuàng)作者具有重要的啟發(fā)意義，也為觀眾帶來了沉浸式體驗的電影敘事風(fēng)格期待。它展示了人工智能如何與電影藝術(shù)相結(jié)合，創(chuàng)造出既智能又富有情感的角色，以及如何通過觀眾的參與，共同推動故事情節(jié)的發(fā)展。這種參與式的影像媒體體驗形式，或?qū)⒋蚱苽鹘y(tǒng)電影的敘事界限，為電影藝術(shù)的創(chuàng)新和發(fā)展開辟新的可能性。

——沈浩

教授、博士生導(dǎo)師

中國傳媒大學(xué)媒體融合與傳播

國家重點實驗室大數(shù)據(jù)研究中心首席科學(xué)家

作 者 簡 介

摘要

交互電影的興起與電影技術(shù)及人工智能的發(fā)展緊密相連。交互電影以創(chuàng)建智能角色和故事世界為核心，通過創(chuàng)作者、智能角色和觀眾間的動態(tài)互動涌現(xiàn)情節(jié)內(nèi)容，觀眾可以參與到影片敘事結(jié)構(gòu)中，形成全新的參與式影像媒體體驗形式。本文以自研開發(fā)的基于感知決策框架的人工智能角色為研究背景，利用大語言模型的自然語言交互能力，將AIGC技術(shù)整合至電影創(chuàng)作中，通過對人工智能角色的文本生成及行為決策的交互能力進(jìn)行分析，驗證AIGC技術(shù)應(yīng)用在交互電影創(chuàng)作中的涌現(xiàn)能力和可行性，為未來電影敘事發(fā)展提供新思路。

關(guān)鍵詞

交互電影；人工智能角色；涌現(xiàn)能力；大語言模型；感知決策框架

涌現(xiàn)（Emergence）在理解復(fù)雜交互電影系統(tǒng)，尤其是智能型交互電影領(lǐng)域時經(jīng)常被使用。壽步教授在其文章中指出：“當(dāng)一個事物被觀察到具有其各部分本身并不具有的屬性時就出現(xiàn)涌現(xiàn)性，這些屬性或行為只有當(dāng)各部分在一個更廣泛的整體中相互作用時才會涌現(xiàn)”[1] 。涌現(xiàn)這一概念常常用于描述交互電影中產(chǎn)生的不可預(yù)知的內(nèi)容或模式，在交互電影領(lǐng)域的發(fā)展中起著重要作用。例如觀眾雖然僅可控制角色進(jìn)行簡單行動交互，但是通過這些簡單行動的組合，可以形成復(fù)雜的內(nèi)容反饋，甚至是生成全新的電影敘事內(nèi)容，這些遠(yuǎn)超創(chuàng)作者設(shè)想的觀影體驗過程就是涌現(xiàn)的結(jié)果。這種通過創(chuàng)作者、觀眾及智能角色三方互動而產(chǎn)生的數(shù)字電影敘事方式，是計算機(jī)人工智能技術(shù)與數(shù)字電影藝術(shù)結(jié)合的理想載體。隨著大語言模型（Large Language Model，LLM）的問世與應(yīng)用普及，其優(yōu)秀的自然語言交互能力勢必將為跨媒介電影敘事帶來突破性發(fā)展。盡管目前人工智能已能在一定程度上模擬人類行為，但智能角色在根據(jù)交互內(nèi)容生成角色表演及反饋方面還存在諸多技術(shù)上的挑戰(zhàn)。通過結(jié)合人工智能學(xué)科理念，采用感知決策框架設(shè)計的智能角色可為未來交互電影的創(chuàng)作和人工智能角色的開發(fā)提供實踐例證，以驗證生成式人工智能應(yīng)用于交互電影創(chuàng)作的巨大潛力及未來前景。

1交互電影中的涌現(xiàn)能力

交互電影區(qū)別于傳統(tǒng)影片，往往展現(xiàn)出獨(dú)特的涌現(xiàn)能力。這種能力旨在探索觀眾對故事世界的作用力，通過動態(tài)化的觀影體驗，創(chuàng)建出可以自下向上生成敘事的復(fù)雜智能系統(tǒng)[2] 。Chris Crawford在1984年的著作中提出交互敘事的概念，認(rèn)為電影設(shè)計應(yīng)當(dāng)更多地考慮交互故事內(nèi)容，以提升作品的吸引力和體驗深度[3] 。20世紀(jì)90年代，隨著計算機(jī)技術(shù)的蓬勃發(fā)展，人工智能方向的研究學(xué)者們對交互電影，尤其是其中的涌現(xiàn)現(xiàn)象產(chǎn)生濃厚興趣。1995年，Galyean在其博士論文中首次以學(xué)術(shù)用途使用故事涌現(xiàn)這一術(shù)語。緊隨其后，Janet Murray在1997年的Hamlet on the Holodeck一書中進(jìn)一步發(fā)展了交互電影理論，認(rèn)為數(shù)字化內(nèi)容提供了一種全新的電影敘事形式，能夠?qū)崿F(xiàn)更高維度的觀眾主動參與和互動[4] 。直至1999 年，Aylett 將交互影像中涌現(xiàn)能力的概念在學(xué)術(shù)界正式普及，闡述了迄今為止仍最廣泛使用的定義，即涌現(xiàn)型交互電影作品以角色為核心，旨在開發(fā)具有情感和敘事能力的交互型智能角色，從而創(chuàng)建生成式的電影結(jié)構(gòu)。這些角色能在故事世界中行動，既有利于故事發(fā)展又有利于觀眾體驗[5] 。

關(guān)于電影中涌現(xiàn)能力的討論直至今日仍在學(xué)界中繼續(xù)，一派學(xué)者認(rèn)為電影中的敘事性與交互性天生具有相悖性，而另一派則認(rèn)為使用擁有涌現(xiàn)能力的智能系統(tǒng)作為一種方法或解決方案，可以處理電影中交互性和敘事性相結(jié)合時帶來的問題。縱觀近年來的交互電影作品，無論是奈飛（Netflix）出品的交互劇集《黑鏡：潘達(dá)斯奈基》，還是Pinta Studios出品的交互虛擬現(xiàn)實動畫作品《拾夢老人》，都在探索和追求如何有效發(fā)揮觀眾的主動性，為觀眾帶來開放度更高的體驗感受。想要實現(xiàn)觀眾通過參與影響或改變情節(jié)的發(fā)展，從而體驗到涌現(xiàn)性的電影敘事結(jié)構(gòu)，需要科學(xué)家與藝術(shù)家彌合數(shù)字技術(shù)與藝術(shù)內(nèi)容之間的巨大跨度。進(jìn)入21世紀(jì)，先鋒學(xué)者Louchart和Aylett提出一個略顯激進(jìn)的學(xué)說，認(rèn)為觀眾體驗故事的發(fā)展核心應(yīng)該是角色，而非特定的電影情節(jié)。他們認(rèn)為本質(zhì)上來說故事應(yīng)從智能角色、故事世界和與觀眾之間的互動耦合中涌現(xiàn)而生[6] 。在其后續(xù)研究中，他們更進(jìn)一步認(rèn)為交互電影體驗必須存在于智能的角色與觀眾互動之間，這些角色在敘事中擁有沖突的目標(biāo)和行動的動機(jī)，同時角色還應(yīng)根據(jù)當(dāng)前交互情況動態(tài)做出情感性決策。故事的發(fā)展是由智能角色自然驅(qū)動的，而不是由一個全局式的預(yù)制劇情強(qiáng)加而成，這樣才能實現(xiàn)交互電影的終極目標(biāo)[7] 。

2交互電影中的人工智能角色

在交互電影理論研究的基礎(chǔ)上，結(jié)合最新的人工智能技術(shù)，國外科研團(tuán)隊已開發(fā)出多款具有開創(chuàng)意義的實驗性交互電影作品，例如早期人工智能自然語言交互的探索性作品Fa?ade，該作品于2003年由Mateas和Stern兩位人工智能藝術(shù)領(lǐng)域的專家聯(lián)合開發(fā)。觀眾被一對智能角色夫婦邀請參加家庭晚宴，觀眾的行動和文本對話將直接影響電影故事的發(fā)展和夫婦二人的結(jié)局。作品的設(shè)計目標(biāo)是盡可能地模擬真實的人類對話和交互能力，它使用了一個名為“交互式劇情框架”（Interactive Drama Architecture）[8] 的人工智能系統(tǒng)，該系統(tǒng)可以理解并響應(yīng)觀眾的文本輸入，同時在后臺控制智能角色的行為和故事的進(jìn)程。因為敘事情節(jié)和角色反應(yīng)會根據(jù)觀眾的行為進(jìn)行調(diào)整，所以觀眾每次觀看這部作品的體驗都會有所不同。該作品開創(chuàng)性地使用自然語言處理（Natural Language Processing, NLP）交互范式，通過輸入文本，形成涌現(xiàn)式的觀影體驗。雖然當(dāng)時的人工智能系統(tǒng)對觀眾使用的句法、語義等的理解達(dá)不到較高水平，但該作品依然在如何協(xié)調(diào)電影情節(jié)內(nèi)容設(shè)定與觀眾生成式故事體驗間的矛盾上取得了突破性成果。

2005年，由Aylett等多位學(xué)者聯(lián)合開發(fā)的FearNot!是具有里程碑意義的作品，該作品設(shè)計目標(biāo)在于幫助兒童理解并應(yīng)對校園霸凌問題。作品內(nèi)容完全由觀眾及智能角色在學(xué)校生活的交互過程中，通過智能系統(tǒng)涌現(xiàn)形成。其中的智能角色被設(shè)計為具有豐富情緒感知能力的智能體，可以根據(jù)與其他角色的互動或觀眾的輸入文本做出基于情緒邏輯的不同行為決策。角色在故事中的行為不是預(yù)先設(shè)置的，而是基于敘事目標(biāo)、敘事動機(jī)、情緒感知和環(huán)境感知多方面反饋共同形成的[9] 。該作品不僅為研究人工智能與交互電影結(jié)合提供了實踐平臺，還從理論的高度完善出基于情感決策系統(tǒng)的設(shè)計框架，即分布式劇情管理（Distributed Drama Management，DDM）[10] （圖1）。Aylett希望構(gòu)建通用型的交互電影設(shè)計方法，允許各種智能角色在故事的演化過程中通過情緒感知做出智能判斷。基于其早期提出的重要智能角色理論雙重評價（Double?Appraisal，DA）[11] 情感代理體系，DDM還嵌入了智能角色這一重要概念，同時，進(jìn)一步引入了元敘事的概念，將智能角色的決斷機(jī)制分解為角色內(nèi)部與角色外部兩方面。角色內(nèi)部決策指在角色的行動、目標(biāo)和情緒范圍內(nèi)做出的決策，角色外部決策是考慮到故事世界和觀眾體驗而做出的決策。DDM以情緒驅(qū)動系統(tǒng)控制角色決策生成，同時應(yīng)用元敘事概念保證電影內(nèi)容體驗的連貫性與一致性。

圖1 　分布式劇情管理

盡管DDM為交互電影創(chuàng)建提供了有效的設(shè)計模型，但同時也存在問題和挑戰(zhàn)。DDM系統(tǒng)需要維護(hù)和管理大量的智能角色和事件，這大大增加了交互電影的復(fù)雜性。對于創(chuàng)作者而言，設(shè)計和實現(xiàn)一個既能處理大量角色和事件，又能保持電影故事講述能力的系統(tǒng)是一個巨大的挑戰(zhàn)[10] 。同時DDM設(shè)想通過感知識別達(dá)到自然語言交互體驗，但實踐證明無論系統(tǒng)設(shè)計如何巧妙，基于當(dāng)時的人工智能技術(shù)水平依然不能實現(xiàn)人類與智能角色進(jìn)行流暢對話的愿景。

3大語言模型（LLM）構(gòu)建的智能角色

當(dāng)前科技的進(jìn)步引領(lǐng)人機(jī)交互領(lǐng)域邁向了人機(jī)融合的新階段，早在本世紀(jì)初就有學(xué)者預(yù)測未來人工智能將融合人類語言，顯著提升交互模型的理解和決策能力[12] 。大語言模型（LLM）的出現(xiàn)是近年來自然語言處理（NLP）領(lǐng)域的重要研究成果，LLM在一系列NLP任務(wù)上都取得了突破性進(jìn)展，其可通過語義理解生成連貫、有意義的反饋文本。以GPT為代表的一系列大模型的出現(xiàn)使人們更清楚地看到人機(jī)軟融合[13] 的進(jìn)化意義和發(fā)展前景。LLM在許多任務(wù)的表現(xiàn)已經(jīng)接近甚至超越人類的表現(xiàn)，包括翻譯、寫作和基本常識性問答，從行為學(xué)意義上標(biāo)志著機(jī)器智能開始擁有“類人化”語境，這意味著在一定程度上人工智能在行為學(xué)上已做到了人類仿真水平。在敘事和角色扮演領(lǐng)域，LLM顯示出獨(dú)特優(yōu)勢，其能夠在理解上下文的基礎(chǔ)上生成個性化回應(yīng)，使角色能在復(fù)雜的上下文環(huán)境中進(jìn)行思考、決斷及實時溝通。應(yīng)用LLM進(jìn)行人工智能角色開發(fā)，更可實現(xiàn)高仿真度的數(shù)字角色人格，并結(jié)合交互文本數(shù)據(jù)進(jìn)行深度學(xué)習(xí)，可打造出根據(jù)交互內(nèi)容動態(tài)發(fā)展型角色，使角色擁有獨(dú)特的對話習(xí)慣和行為模式，這將解決多年來交互電影面臨的智能角色實踐困境，為交互電影的創(chuàng)作開啟了廣闊的發(fā)展前景。

將LLM的自然語言交互優(yōu)勢整合入智能角色，不僅有助于解決交互性與敘事性的天然矛盾，同時也能夠大幅豐富和提升觀眾參與程度，進(jìn)而構(gòu)建更加自然真實的交互電影體驗。電影理論家羅伯特·斯科爾斯認(rèn)為敘事中的角色應(yīng)在關(guān)注個體化特征的同時，考慮其在宏觀體系中的組成部分，并認(rèn)為平衡好角色敘事功能中的審美性與模仿性是重中之重[14] 。LLM智能角色展現(xiàn)出的交流能力，可以理解語義并達(dá)到更為仿真的語言模式和行為模式，使智能角色的語言和行為更加符合人類的行為規(guī)律。智能角色可以從交互中學(xué)習(xí)行為，不同角色將呈現(xiàn)出對語言的不同理解，對角色情緒狀態(tài)的處理也將有所區(qū)別，對交互敘事的反饋也將截然不同。智能角色還可遞進(jìn)式地理解故事世界內(nèi)容，并反饋出更加復(fù)雜的行為模式，從而達(dá)到角色可展現(xiàn)復(fù)雜情緒和情感表演的終極目標(biāo)。LLM可以使智能角色的行為更加真實、自然并有說服力，這不僅有助于提升觀眾的沉浸感和參與度，也使智能角色能夠更好地參與到復(fù)雜的電影敘事環(huán)境中，從而構(gòu)建理想型交互電影設(shè)計框架。

近年來，交互電影領(lǐng)域已有多位前沿學(xué)者嘗試將LLM運(yùn)用到智能角色創(chuàng)作中，尤其是應(yīng)用ChatGPT系列工具的交互能力[15] ，形成真正意義上的AIGC型智能角色。2021年，Stegeren和Mysliwiec兩位學(xué)者嘗試使用影片中的視頻語料對GPT?2大模型進(jìn)行訓(xùn)練微調(diào)，用以驗證LLM運(yùn)用在文本生成中的可行性[16] 。盡管使用同一提示詞生成的多個輸出結(jié)果的質(zhì)量略有參差，但實驗仍舊表明GPT?2可以通過深度學(xué)習(xí)故事世界的敘事設(shè)定編寫內(nèi)容文本，模仿其獨(dú)特的語言風(fēng)格與觀眾進(jìn)行NLP對話任務(wù)模擬，這對生成式角色的發(fā)展具有重要意義。2023年喬治亞理工學(xué)院的專家組使用LLM增強(qiáng)深度學(xué)習(xí)型智能角色的學(xué)習(xí)能力，在特定故事情境下通過角色NLP能力獲取大量文本信息，以此為基礎(chǔ)的深度學(xué)習(xí)結(jié)果表明了LLM可以顯著提升智能角色的交互反饋能力 [17] 。隨著LLM技術(shù)的不斷進(jìn)步，AIGC智能角色在故事生成、影像交互和多媒體平臺等諸多領(lǐng)域嶄露頭角，但截至目前依然沒有出現(xiàn)其在交互電影領(lǐng)域的應(yīng)用案例，為了填補(bǔ)這一領(lǐng)域研究空白，項目組通過自主研發(fā)基于感知決策框架的人工智能角色，探討LLM對智能角色和交互電影發(fā)展的意義和應(yīng)用前景。

研究發(fā)現(xiàn)，利用LLM決策能力設(shè)計的人工智能角色在實驗中顯露出巨大開發(fā)潛力。通過定向數(shù)據(jù)集訓(xùn)練對LLM進(jìn)行微調(diào)，可使LLM執(zhí)行特定故事世界的交互任務(wù)。更進(jìn)一步利用LLM的語義理解能力構(gòu)建情感決策模塊，為創(chuàng)作出具有行為學(xué)意義上高仿真性的具備思考和產(chǎn)生情緒能力的人工智能角色提供了可能性。基于LLM的智能角色不再僅是簡單地響應(yīng)預(yù)先設(shè)定的觀眾指令，而是可以根據(jù)自身的“認(rèn)知”來做出決策，具備不斷逼近人類的學(xué)習(xí)、理解及感受能力。

4感知決策框架

智能角色在交互電影的應(yīng)用中面臨諸多問題，首先是如何保持交互電影作品中敘事的連貫性和一致性。傳統(tǒng)的電影敘事結(jié)構(gòu)，如起承轉(zhuǎn)合，為觀眾提供了一個清晰、有組織的故事線，但在與智能角色交互中，故事可能會由觀眾及角色間的動態(tài)互動生成不可預(yù)測的內(nèi)容和事件，使結(jié)構(gòu)變得零散和不連貫。此外，交互電影所需要的智能角色的開發(fā)技術(shù)和語言交互系統(tǒng)設(shè)計的復(fù)雜性也不容忽視，Louchart等學(xué)者指出：“如果沒有解決上下文的定義——也就是生成上下文的規(guī)則，那么它將會導(dǎo)致一個指數(shù)級的數(shù)據(jù)困境”[18] 。

LLM的NLP交互能力為這些核心問題提供了重要解決方案。結(jié)合該能力設(shè)計的感知決策框架（Sensor?Decision Framework，SDF）以感知能力和決策能力為兩大核心模塊（圖2），用以彌合LLM的生成內(nèi)容與藝術(shù)化的電影敘事結(jié)構(gòu)間的需求。SDF的核心是驅(qū)動智能角色模擬人類感知并生成情緒決策，通過感知模塊獲取各種外部信息，并使用劇情管理算法生成滿足敘事反饋需要的人工智能系統(tǒng)。

圖2 　感知決策框架

從高層次視角來看，SDF包括四大組件層，即感知層、記憶層、決策層及反饋層。角色的感知層負(fù)責(zé)獲取外部環(huán)境信息，例如觀眾輸入的語言或故事世界中環(huán)境的標(biāo)記信息等。感知內(nèi)容通過文本生成上下文，并流入記憶層中形成短期及長期記憶，這些通過AIGC生成的上下文本與故事世界的基礎(chǔ)設(shè)定共同構(gòu)成角色記憶庫。記憶庫通過劇情管理算法可對LLM進(jìn)行微調(diào)，其結(jié)果將作用于決策層產(chǎn)生出影響角色表演的主動或被動決策。被動決策用來響應(yīng)觀眾交互，主動決策通過分析敘事需求產(chǎn)生引導(dǎo)性行為，二者共同維持生成的故事與元敘事的一致性。決策層信息通過程序轉(zhuǎn)化指導(dǎo)反饋層的角色輸出表演。反饋行為根據(jù)不同的決策目的，也被區(qū)分為實現(xiàn)目標(biāo)所采取的主動反應(yīng)行為和對交互事件產(chǎn)生的被動反應(yīng)行為兩種模式。通過情緒處理模塊生成的情緒反饋權(quán)重將進(jìn)一步影響智能角色的表演行為，包括文本語言風(fēng)格及表情動作演出等一系列細(xì)節(jié)內(nèi)容，形成細(xì)膩的智能角色表演。

4.1 開發(fā)環(huán)境及方法

基于SDF開發(fā)的智能角色需要在引擎中構(gòu)建前端交互環(huán)境，并將故事世界的設(shè)定編輯成可用于訓(xùn)練的標(biāo)記文本和元敘事文本，通過劇情管理算法為智能角色生成對話表演及行為決策。本文測試實驗的開發(fā)環(huán)境為虛幻引擎5.3，以三維虛擬角色為載體，通過故事設(shè)定內(nèi)容生成的訓(xùn)練文本自主訓(xùn)練自研定向領(lǐng)域大模型倉庚，并利用SDF生成智能角色的對話語音及表情動作。大模型倉庚具備泛用性及擴(kuò)展性，可適配多種主流開源數(shù)據(jù)集，本項目中使用ChatGLM?6B為訓(xùn)練基礎(chǔ)，通過對模型進(jìn)行全參數(shù)調(diào)整使其擁有定向知識領(lǐng)域的穩(wěn)定文本輸出能力。本項目中的智能角色被設(shè)定為一位青年導(dǎo)演，團(tuán)隊收集電影專業(yè)書籍、導(dǎo)演訪談及影視劇劇本等相關(guān)專業(yè)資料文本共計2萬字左右，結(jié)合設(shè)定的角色背景故事進(jìn)行訓(xùn)練學(xué)習(xí)，可使交互生成內(nèi)容具備更鮮明的人格特征以及更專業(yè)的語言風(fēng)格。同時倉庚擁有記憶數(shù)據(jù)庫，通過遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RNN）技術(shù)，對將要生成的對話及行為進(jìn)行預(yù)測及判斷，并結(jié)合記憶庫中的記憶內(nèi)容實現(xiàn)利用前序生成事件推理預(yù)測后續(xù)生成事件的趨同概率的作用，以達(dá)到與設(shè)定內(nèi)容維持穩(wěn)定關(guān)聯(lián)性的結(jié)果，保證了生成內(nèi)容的一致性與連貫性。在使用過程中，該項技術(shù)還可不斷提高智能角色的溝通能力，滿足交互電影中智能角色的應(yīng)用需求 。倉庚不同于通用型大語言模型，它不僅可以輸出基于上下文的文本，還可直接生成面向SDF系統(tǒng)的計算機(jī)程序，為SDF提供包括語義分析、情緒理解、表情生成及行為決策等多項核心控制能力。

在實際應(yīng)用中，當(dāng)智能角色接收到輸入信息時，例如觀眾的語音對話，音頻信息將直接流入SDF中的感知層。感知層將信息利用語音識別或圖像識別等處理模塊處理成文本信息，文本形成的記憶流將流入SDF的記憶層。在記憶層中，文本將被分配到倉庚內(nèi)部處理定向功能的大語言模型處理模塊，本項目中該模塊包括了語義識別大模型、情緒識別大模型、決策生成大模型及程序控制大模型四部分，分別處理智能角色的對話生成、情緒生成、行為生成及程序生成能力。生成文本會再次回流到感知層進(jìn)行思考判斷，保證文本內(nèi)容不會偏離角色設(shè)定，以維持時序關(guān)系上角色前后生成內(nèi)容的一致性與穩(wěn)定性。記憶層輸出的文本將直接作用于決策層。根據(jù)生成的情緒信息，決策層將判斷出最符合當(dāng)前語境下表演的表情、動作及行為，從而再次利用程序生成大模型輸出調(diào)用反饋層動畫數(shù)據(jù)庫所需要的計算機(jī)程序語言腳本。SDF最終的輸出將直接作用于前端交互界面，在本項目中即是利用虛幻引擎開發(fā)的數(shù)字人及數(shù)字環(huán)境，達(dá)到控制智能角色進(jìn)行實時表演及反饋的作用。

為進(jìn)一步驗證智能角色在特定背景和情節(jié)設(shè)定下的表演能力，團(tuán)隊利用GPT?3.5的生成能力建立非SDF角色對照組，通過比對非SDF角色與SDF角色交互的生成內(nèi)容結(jié)果，探討智能角色在交互電影中的涌現(xiàn)能力和未來應(yīng)用的可行性。

4.2 SDF智能角色能力

本項目中應(yīng)用SDF制作的智能角色展現(xiàn)出良好的交流能力。當(dāng)觀眾與智能角色進(jìn)行對話時，通過語音識別功能將觀眾的語言轉(zhuǎn)換為文本，這部分文本將作為感知層的感知內(nèi)容進(jìn)入記憶層。不同于傳統(tǒng)LLM驅(qū)動的聊天工具，例如GPT?3.5產(chǎn)生的通識性問答，當(dāng)文本內(nèi)容進(jìn)入記憶層后，會根據(jù)智能角色記憶庫中的劇情上下文及設(shè)定內(nèi)容生成相應(yīng)反饋，同時劇情管理算法也會再次調(diào)整應(yīng)答內(nèi)容，以達(dá)到統(tǒng)一故事敘事的作用。例如觀眾再次詢問同樣的問題時，智能角色可能會根據(jù)記憶，反饋時先詢問觀眾是否覺得上一次的回答并不讓人滿意。如果設(shè)定了交流目標(biāo)，如需要引導(dǎo)觀眾詢問特定問題，那么在回答內(nèi)容的最后部分，智能角色將使用引導(dǎo)性語句，例如“你想不想了解其他事情”等方式，自然地引導(dǎo)觀眾按照劇情設(shè)定的方向進(jìn)行有效交互。

記憶層生成的應(yīng)答文本將繼續(xù)進(jìn)入決策層，通過結(jié)合劇情理解語義，智能角色可從預(yù)先訓(xùn)練的情緒庫中分析出最為恰當(dāng)?shù)那榫w反饋。應(yīng)答文本可結(jié)合語句進(jìn)行拆分，生成多個反饋情緒，從而最終指導(dǎo)角色動作。同時當(dāng)問答需要行為反饋時，例如要求智能角色前往指定地點，決策層也會生成相應(yīng)的行為決策，指導(dǎo)角色使用正確的動作做出反饋。決策層通過生成程序代碼的方式直接調(diào)用反饋層系統(tǒng)中的各項指令，例如角色的動作、語言及特定表情等，最終通過交互界面反饋給觀眾，形成一次完整的交互反饋流程。

4.3 對話表演能力測試和評估

實驗從兩方面對智能角色對話表演能力進(jìn)行測試和評估。首先，當(dāng)觀眾提出相同問題時，通過比對非SDF角色與SDF角色生成的對話文本，可以清晰地發(fā)現(xiàn)兩者在情節(jié)上下文、個性化風(fēng)格和敘事引導(dǎo)能力上的顯著差異。其次，總結(jié)整理SDF角色的動作決策和表情決策結(jié)果，可看出SDF智能角色的表演能力。

4.3.1 交互能力

非SDF角色和SDF角色交互能力對比見表1。首先，在上下文內(nèi)容生成方面，非SDF角色的回答普遍呈現(xiàn)通用、通識及模板化的信息。其所生成的故事是沒有特定背景的通俗而普遍的故事內(nèi)容。SDF角色的回答則更符合特定的角色背景設(shè)計，實驗中將角色身份預(yù)先設(shè)定為一位電影導(dǎo)演后，觀眾交互產(chǎn)生的回答文本內(nèi)容符合經(jīng)驗豐富的導(dǎo)演角色身份，回答具有更具體的、定向化的故事情境。同時實驗中將元敘事設(shè)定為經(jīng)驗豐富的導(dǎo)演與新入職團(tuán)隊成員共同工作這一情景后，可以發(fā)現(xiàn)SDF角色講述故事時會更側(cè)重于導(dǎo)演的經(jīng)驗分享，符合故事世界中元敘事設(shè)計需求。其次，在語言風(fēng)格上非SDF角色的描述和故事是簡單和普遍性的，沒有特定的角色個性和人格呈現(xiàn)。而SDF角色則展示出更多情感細(xì)節(jié)和交互深度，從語言內(nèi)容上可感知到角色的性格、職業(yè)及背景經(jīng)歷等信息，交互內(nèi)容從更具體的角度分享角色的經(jīng)驗和看法。最后，在敘事引導(dǎo)能力上，非SDF角色呈現(xiàn)的故事是一個傳統(tǒng)的，有明確開端、高潮和結(jié)尾的故事，圍繞一個隨機(jī)的中心情節(jié)展開。而SDF的角色故事則更注重具體設(shè)定角色的思考模式，呈現(xiàn)的故事內(nèi)容為通過分享電影制作中遭遇的挑戰(zhàn)和解決問題的方法，體現(xiàn)出導(dǎo)演對新同伴的引導(dǎo)價值，從而更好地讓觀眾沉浸在故事世界中。

表1　非SDF角色和SDF角色交互能力對比

綜上可見，SDF框架可以有效控制LLM交流能力，塑造出特定的有深度的智能角色。在情感表達(dá)方面更加個性化并富有細(xì)節(jié)，同時可起到良好的敘事引導(dǎo)作用，角色交流能力可滿足交互電影的敘事要求，也同時具備情節(jié)涌現(xiàn)能力。

4.3.2 動作表情決策能力

SDF框架除了控制LLM生成定向文本內(nèi)容外，還可通過決策層建立角色豐富細(xì)膩的表演。實驗中發(fā)現(xiàn)，當(dāng)角色生成的反饋文本內(nèi)容是介紹性內(nèi)容時，決策層調(diào)用動作庫中標(biāo)簽為“打招呼、揮手、問候”的動作，同時調(diào)用表情庫中“開心微笑”的表情，表情權(quán)重為1。當(dāng)角色提及自己的導(dǎo)演經(jīng)驗和分享內(nèi)容時，決策層調(diào)用動作庫中標(biāo)簽為“侃侃而談、誠摯問候、握手”的動作，同時調(diào)用表情庫中“認(rèn)真陳述”的表情，表情權(quán)重為1。當(dāng)陳述內(nèi)容為自己遇到的困難時，角色行為決策出現(xiàn)變化，決策層調(diào)用動作庫中標(biāo)簽為“耐心講解，認(rèn)真提示重點”的動作，同時調(diào)用表情庫中“緊張認(rèn)真”的表情，表情權(quán)重為0.8。最后，在總結(jié)并分享導(dǎo)演經(jīng)驗時，決策層調(diào)用動作庫中標(biāo)簽為“侃侃而談、誠摯問候、握手”的動作，表情再次變?yōu)椤八式≌劇薄?/p>

從結(jié)果可看到，SDF智能角色的決策能力在實驗任務(wù)中表現(xiàn)十分出色。該能力確保角色的行為可以與生成的文本內(nèi)容相匹配，并且以情緒分析為依據(jù)，角色可涌現(xiàn)出流暢準(zhǔn)確的表演狀態(tài)。SDF智能角色展現(xiàn)了極強(qiáng)的情境適應(yīng)性，營造了高仿真度的真實性，并且基于NLP的交互使觀眾無需學(xué)習(xí)任何復(fù)雜操作，極大地增強(qiáng)了觀眾交互時的“情感沉浸”體驗[19] ，同時，SDF智能角色在交互中展現(xiàn)出的涌現(xiàn)能力，可分為故事涌現(xiàn)和情緒涌現(xiàn)兩種。智能角色通過生成式的方式使互動內(nèi)容不再依賴于固定的程序設(shè)定，故事內(nèi)容可以在觀眾與角色的溝通中涌現(xiàn)產(chǎn)生。而情緒涌現(xiàn)則帶給SDF智能角色逼真的表演能力，同時涌現(xiàn)能力并不會影響智能角色生成的交互反饋與角色設(shè)定的一致性，在交互中角色依然可以保持統(tǒng)一的數(shù)字人格。這些特點符合交互電影角色創(chuàng)作中的核心需求。因?qū)嶒炛行袨閯幼鲙熘蓄A(yù)制動作數(shù)量相對有限，本文測試時庫中僅添加10組動作與5組表情，但交互中依然展現(xiàn)出豐富且細(xì)膩的表演情景（圖3），未來團(tuán)隊計劃建立更加豐富的行為庫以滿足各種角色設(shè)定需求，驗證SDF智能角色在更多電影內(nèi)容場域應(yīng)用中的交互能力。

圖3 　動作表情決策測試

5結(jié)論

跨媒介敘事學(xué)著名學(xué)者瑞安曾提出新媒介發(fā)展是否會產(chǎn)生新體驗形式這一議題[20] ，由此可見技術(shù)的發(fā)展對電影藝術(shù)創(chuàng)作產(chǎn)生了深遠(yuǎn)影響，其中交互電影作為應(yīng)用領(lǐng)域最廣泛的跨媒介影像創(chuàng)作方式，越來越受到觀眾的認(rèn)可和喜愛。SDF智能角色在交互實驗中展現(xiàn)出了極強(qiáng)的表演潛力，其可基于感知生成記憶，通過記憶產(chǎn)生行為決策，并進(jìn)一步指導(dǎo)演出，從而滿足故事講述及與觀眾交互的需要。結(jié)合電影理論，創(chuàng)作者可通過對元敘事進(jìn)行設(shè)定，使智能角色不僅可以準(zhǔn)確體現(xiàn)特定的情緒反饋，還展現(xiàn)出強(qiáng)大的內(nèi)容涌現(xiàn)能力，為觀眾帶來全新體驗。交互電影發(fā)展至今，一直以來都在尋求敘事故事結(jié)構(gòu)與生成內(nèi)容間的平衡點，基于SDF角色呈現(xiàn)出的細(xì)致真實表演，可解決交互電影創(chuàng)作實踐中長期面臨的問題，為創(chuàng)作更具交互感與沉浸感的電影作品提供解決方案，為未來交互敘事理論的發(fā)展與探索交互電影的可能性開辟了新道路。

參考文獻(xiàn)

（向下滑動閱讀）

[1] 壽步. 人工智能術(shù)語agent的精準(zhǔn)譯解及其哲學(xué)意義[J]. 哲學(xué)分析,2023,14(3):130?143. DOI:10.3969/j.issn.2095-0047.2023.03.011.

[2] Kreminski M, Mateas M.A Coauthorship?Centric History of Interactive Emergent Narrative[C]//Interactive Storytelling: 14th International Conference on Interactive Digital Storytelling.Berlin,Springer?Verlag,2021:222?235.

[3] Crawford C.The Art of Computer Game Design[M].United States：McGraw?Hill/Osborne Media,1984.

[4] Murray J H.Hamlet on the Holodeck[M].United States：MIT Press,1997.

[5] Aylett R.Narrative in Virtual Environments ? Towards Emergent Narrative[J].AAAI Technical Report,1999(01):83?86.

[6] Aylett R, Louchart S.Towards a Narrative Theory of Virtual Reality[J]. Virtual Reality,2003, 7(01):2?9.

[7] Aylett R, Louchart S, Dias J, et al.FearNot! – An Experiment in Emergent Narrative[C]//Panayiotopoulos T, Gratch J, Aylett R et al.Intelligent Virtual Agents.Lecture Notes in Computer Science.Berlin,Springer,2005:3661.

[8] Mateas M, Andrew S. Fa?ade: An Experiment in Building a Fully?Realized Interactive Drama[J]. Game Developers Conference, 2003(02): 4?8.

[9] Aylett R, Louchart S, Dias J, et al.Unscripted Narrative for Affectively Driven Characters[J].IEEE Computer Graphics and Applications，2006, 26(03):42?52.

[10] Weallans A, Louchart S, Aylett R, et al.Distributed Drama Management: Beyond Double Appraisal in Emergent Narrative[C]//Mitchell A, Vosmeer M.Interactive Storytelling: 14th International Conference on Interactive Digital Storytelling.Berlin,Springer?Verlag,2021:132?143.

[11] Aylett R, Louchart S.If I were you: double appraisal in affective agents[C]//Padgham L, Parkes D.7th International Joint Conference on Autonomous Agents and Multiagent Systems (AAMAS).Estoril, Portugal, 2008.

[12] Rosenfeld R. Two decades of statistical language modeling: Where do we go from here?[J]. Proc IEEE, 2000, 88(8):1270?1278.

[13] 王天恩. 人機(jī)融合進(jìn)化:方式、機(jī)制與前景——兼及ChatGPT的人機(jī)軟融合進(jìn)化地位[J]. 探索與爭鳴,2023(6):99?109. DOI:10.3969/j.issn.1004-2229.2023.06.020.

[14] 羅伯特?斯科爾斯,詹姆斯?費(fèi)倫,羅伯特?凱洛格.敘事的本質(zhì)[M].于雷，譯.南京：南京大學(xué)出版社,2015.

[15] Hassija V, Chakrabarti A, Singh A, et al.Unleashing the Potential of Conversational AI: Amplifying ChatGPT's Capabilities and Tackling Technical Hurdles[J].IEEE Access, 2023，11:143657?143682.

[16] Stegeren J, Mysliwiec J.Fine?tuning GPT?2 on annotated RPG quests for NPC dialogue generation[C]//Fowler A, Pirker J,16th International Conference on the Foundations of Digital Games.New York,Association for Computing Machinery,2021:1?8.

[17] Zhou W, Peng X, Riedl M.Dialogue Shaping: Empowering Agents through NPC Interaction[EB/OL].(2023?07?28)[2024?04?25]. https://arxiv.org/abs/2307.15833.

[18] Louchart S. Truesdale J. Suuie N, et al. Emergent Narrative, Past, Present and Fulure of an Interactive Storytelling Approach[C]//Koenitz H, Ferri G, Haahr M, et al.Interactive Digital Narrative.New York,Routledge,2015:185?199.

[19] 張新軍.數(shù)字時代的敘事學(xué)——瑪麗-勞爾·瑞安敘事理論研究[M].成都：四川大學(xué)出版社,2017.

[20] 瑪麗-勞爾·瑞安.跨媒介敘事[M].張新軍，林文娟，譯.成都：四川大學(xué)出版社,2019.

[21] 陳焱松, 周雯.人工智能影像敘事的涌現(xiàn)化生成[J].當(dāng)代電影, 2024(05).

[22] 周雯,孟可.數(shù)字化再升級:數(shù)實融合背景下視聽產(chǎn)業(yè)的轉(zhuǎn)型之路[J].當(dāng)代電影, 2023(06):132?138.

[23] 孟可.從文學(xué)到代碼：人工智能編劇的創(chuàng)作邏輯與應(yīng)用前景[J].現(xiàn)代電影技術(shù),2024(01).

[24] 楊譯凇,王靜雯.元宇宙視域下電影敘事的變革:從線性敘事到開放式互動敘事的轉(zhuǎn)變[J].傳播與版權(quán), 2023(15):23?25.

【本文項目信息】全國教育部學(xué)位中心2022年主題案例項目“北京師范大學(xué)（輔仁校區(qū)）虛擬現(xiàn)實藝術(shù)設(shè)計”（ZT?221005220）。

主管單位：國家電影局

主辦單位：電影技術(shù)質(zhì)量檢測所

標(biāo)準(zhǔn)國際刊號：ISSN 1673-3215

國內(nèi)統(tǒng)一刊號：CN 11-5336/TB

投稿系統(tǒng)：ampt.crifst.ac.cn

官方網(wǎng)站：www.crifst.ac.cn

期刊發(fā)行：010-63245081