在人工智能領(lǐng)域，將文字故事轉(zhuǎn)化為圖像序列一直是個極具挑戰(zhàn)性的任務(wù)。傳統(tǒng)方法往往只關(guān)注單句文本到圖像的轉(zhuǎn)換，卻忽視了故事中跨句的上下文信息，導(dǎo)致生成的圖像序列缺乏連貫性。想象一下，當(dāng)AI讀到＂樹林被雪覆蓋＂后，應(yīng)該能在后續(xù)圖像中保持這一背景元素，而不是憑空生成新場景。一項突破性研究提出了創(chuàng)新的記憶架構(gòu)和文本增強(qiáng)技術(shù)，使AI能更好地理解故事脈絡(luò)，捕捉字里行間的隱含信息，從而生成既符合語義又保持連貫的圖像序列。這一技術(shù)不僅超越了現(xiàn)有方法，甚至在某些方面挑戰(zhàn)了那些需要海量計算資源的大型模型。

故事難解讀

故事可視化是一個讓計算機(jī)根據(jù)一段文字故事生成一系列圖像的任務(wù)，聽起來簡單，實際做起來卻困難重重。想象一下，當(dāng)我們閱讀故事時，往往能自然地在腦海中形成連貫的畫面，這是因為我們不僅理解當(dāng)前正在閱讀的句子，還能將前文提到的信息串聯(lián)起來，形成完整的背景和場景。

在故事可視化領(lǐng)域，研究人員發(fā)現(xiàn)傳統(tǒng)的人工智能模型在處理這類任務(wù)時存在明顯短板。這些模型通常是針對單句文本到單張圖像的轉(zhuǎn)換而設(shè)計的，當(dāng)面對多句話組成的故事段落時，它們會將每個句子孤立處理，忽略了句子之間的上下文關(guān)聯(lián)。

以一個簡單的例子來說明這個問題：假設(shè)故事的第一句是＂盧比注意到了什么。樹林被雪覆蓋了。＂，第二句是＂盧比向波羅羅解釋了他的花發(fā)生了什么。＂如果模型只關(guān)注第二句生成圖像，很可能會忽略第一句中提到的＂樹林被雪覆蓋＂這一重要背景信息，導(dǎo)致生成的圖像與整體故事不符。

這種上下文信息斷裂的現(xiàn)象在StoryGAN等早期故事可視化模型中尤為明顯。這些模型雖然能生成與單句相關(guān)的圖像，但缺乏捕捉跨句上下文的能力，導(dǎo)致生成的圖像序列在場景背景、角色一致性等方面存在不連貫性。

語言的多樣性也給故事可視化帶來了額外挑戰(zhàn)。同一個場景可以有多種不同的描述方式，但在訓(xùn)練數(shù)據(jù)中，每個圖像通常只對應(yīng)一種文本描述。這導(dǎo)致模型難以適應(yīng)不同的語言表達(dá)方式，泛化能力受限。例如，＂波羅羅、克朗、波比和艾迪坐在桌子周圍喝果汁＂和＂波羅羅的朋友們圍坐在桌邊，波比站著＂描述的可能是同一個場景，但用詞和句式不同，傳統(tǒng)模型可能會將它們理解為不同的場景。

近年來，大型預(yù)訓(xùn)練模型如DALL-E、CogView等在單句文本到圖像的轉(zhuǎn)換任務(wù)上取得了突破性進(jìn)展，但這些模型通常需要數(shù)十億參數(shù)和海量訓(xùn)練數(shù)據(jù)，計算資源需求極高。此外，它們在處理多句組成的故事時，仍然面臨上下文理解的挑戰(zhàn)。例如，StoryDALL-E雖然是基于DALL-E微調(diào)的，但其參數(shù)量達(dá)到了13億，訓(xùn)練數(shù)據(jù)量為1400萬文本-圖像對，對普通研究者來說幾乎無法復(fù)現(xiàn)。

正是在這樣的背景下，一種新的技術(shù)方案應(yīng)運而生，它不依賴于超大規(guī)模模型和數(shù)據(jù)，而是通過巧妙的架構(gòu)設(shè)計和訓(xùn)練策略，解決故事可視化中的上下文理解問題。

記憶保連貫

為了解決故事可視化中的上下文理解問題，研究人員提出了一種基于雙向Transformer框架的創(chuàng)新記憶架構(gòu)。這一架構(gòu)能夠在生成圖像序列時，有效地捕捉和利用跨句上下文信息，保持圖像的語義連貫性。

這個記憶架構(gòu)的核心是一種名為＂上下文記憶＂的模塊，它能夠在生成圖像時選擇性地使用故事段落中的上下文信息。與傳統(tǒng)的Transformer不同，這種架構(gòu)不僅關(guān)注當(dāng)前輸入的文本，還能記住并利用之前句子中的關(guān)鍵信息，從而生成更加連貫的圖像序列。

具體來說，這種記憶架構(gòu)包含兩個關(guān)鍵創(chuàng)新：部分層次記憶增強(qiáng)（PMA）和注意力加權(quán)記憶（AWM）。在傳統(tǒng)的記憶增強(qiáng)Transformer中，記憶連接通常存在于所有層中，這不僅計算成本高，而且可能會引入噪聲。而PMA只在Transformer的最后一層引入記憶連接，這樣既減少了計算復(fù)雜度，又能保證有效利用高層次的抽象特征。

實驗數(shù)據(jù)顯示，與全層次記憶連接相比，PMA在Pororo-SV測試集上的FID（Frchet Inception Distance）指標(biāo)從61.23降低到59.05，角色F1分?jǐn)?shù)從47.21提高到49.72，幀準(zhǔn)確率從19.21%提高到21.79%，同時參數(shù)量從1.18億減少到9580萬，這證明了PMA在提高性能的同時還降低了計算成本。

注意力加權(quán)記憶（AWM）則是另一個關(guān)鍵創(chuàng)新。在故事中，并非所有歷史信息對當(dāng)前圖像生成都同等重要。AWM機(jī)制通過注意力機(jī)制對歷史信息進(jìn)行加權(quán)，重點關(guān)注與當(dāng)前句子相關(guān)的上下文。例如，當(dāng)生成描述雪地場景的圖像時，AWM會優(yōu)先關(guān)注之前提到＂樹林被雪覆蓋＂的信息，而弱化其他不相關(guān)的細(xì)節(jié)。

在記憶更新過程中，模型會先對當(dāng)前隱藏狀態(tài)和之前的記憶狀態(tài)應(yīng)用交叉注意力，得到一個上下文相關(guān)的表示。然后，通過門控循環(huán)單元（GRU）更新記憶狀態(tài)，準(zhǔn)備傳遞給下一個時間步。為了避免圖像內(nèi)容對文本理解的干擾，模型還使用了記憶注意力掩碼，只選擇文本標(biāo)記作為記憶內(nèi)容。

這種記憶連接方案的優(yōu)勢在實際生成效果中清晰可見。例如，在一個關(guān)于艾迪和波羅羅打雪仗的故事中，沒有記憶模塊的模型在生成圖像序列時會出現(xiàn)背景突變的情況，而使用上下文記憶的模型則能保持背景的一致性，從第一幀到最后一幀都維持在雪地場景中。

通過人類偏好研究，研究者邀請了100名評估者對比有無記憶模塊生成的圖像序列。結(jié)果顯示，61.2%的評估者更傾向于使用記憶模塊的模型生成的圖像序列，認(rèn)為它們在時間一致性和語義相關(guān)性方面表現(xiàn)更好。這一結(jié)果有力地證明了上下文記憶在生成連貫圖像序列中的關(guān)鍵作用。

與現(xiàn)有技術(shù)相比，這種記憶架構(gòu)在不使用大規(guī)模預(yù)訓(xùn)練模型的情況下，取得了顯著的性能提升。在Pororo-SV數(shù)據(jù)集上，它的FID指標(biāo)達(dá)到52.13，比之前最好的VLC-StoryGAN（84.96）和VP-CSV（65.51）有大幅改進(jìn)，同時在角色F1分?jǐn)?shù)、幀準(zhǔn)確率、BLEU-2/3和R-Precision等多項指標(biāo)上都取得了明顯提升。這表明，通過巧妙的架構(gòu)設(shè)計，即使是規(guī)模相對較小的模型也能在故事可視化任務(wù)中取得卓越表現(xiàn)。

文本增巧變

在解決了上下文記憶問題后，研究人員面臨的另一個挑戰(zhàn)是如何讓模型更好地應(yīng)對語言的多樣性。想象一下，人們描述同一個場景時，可能會使用完全不同的詞匯和句式，這對AI系統(tǒng)來說是個大麻煩。在現(xiàn)實中，為每個圖像收集多種不同的文本描述成本太高，所以大多數(shù)故事可視化數(shù)據(jù)集中，一個圖像通常只對應(yīng)一種描述方式。

為了解決這個問題，研究人員提出了一種名為＂在線文本增強(qiáng)＂的創(chuàng)新方法。與傳統(tǒng)的離線數(shù)據(jù)增強(qiáng)不同，這種方法不需要預(yù)先準(zhǔn)備好多種描述，而是在模型訓(xùn)練過程中動態(tài)生成多樣化的偽文本描述。

離線增強(qiáng)是一種常見的數(shù)據(jù)擴(kuò)充方法，它通常使用預(yù)訓(xùn)練好的圖像描述模型為每個圖像生成一個固定的替代描述。這種方法雖然能在一定程度上增加數(shù)據(jù)多樣性，但生成的描述往往缺乏變化，無法覆蓋自然語言的豐富表達(dá)方式。

在線文本增強(qiáng)則打破了這一限制。借助雙向Transformer架構(gòu)的優(yōu)勢，模型不僅能從文本生成圖像，還能從圖像生成文本。在訓(xùn)練過程中，對于每張訓(xùn)練圖像，模型會在每個訓(xùn)練周期動態(tài)生成不同的偽文本描述，并將這些描述作為額外的監(jiān)督信號來訓(xùn)練文本到圖像的生成模型。

這個過程具體是這樣工作的：在訓(xùn)練初期，模型的圖像到文本生成能力還很弱，生成的偽文本質(zhì)量不高，但隨著訓(xùn)練的進(jìn)行，生成的偽文本質(zhì)量逐漸提高，描述也越來越準(zhǔn)確多樣。例如，對于同一個顯示＂盧比邀請她的朋友們進(jìn)來＂的圖像，在不同訓(xùn)練周期中可能會生成＂波羅羅、艾迪、克朗、波比站在門口＂、＂他們在屋里交談＂等不同的描述。

這些動態(tài)生成的多樣化描述極大地豐富了模型的訓(xùn)練數(shù)據(jù)，使模型能夠?qū)W習(xí)到同一場景的不同表達(dá)方式，從而在推理階段更好地應(yīng)對語言變化。實驗結(jié)果顯示，相比于使用離線增強(qiáng)的模型，在線文本增強(qiáng)將FID指標(biāo)從54.51降低到52.13，角色F1分?jǐn)?shù)從51.32提高到53.25，幀準(zhǔn)確率從22.31%提高到24.72%。

值得注意的是，在線文本增強(qiáng)不僅提高了模型對語言變化的適應(yīng)能力，還通過中間目標(biāo)加速了模型的收斂過程。在實際實驗中，研究人員觀察到使用在線增強(qiáng)的模型比基準(zhǔn)模型更快達(dá)到較好的性能水平。

在線文本增強(qiáng)的另一個優(yōu)勢是它不需要額外的標(biāo)注數(shù)據(jù)或外部模型，完全依靠模型自身的雙向生成能力來實現(xiàn)數(shù)據(jù)增強(qiáng)，這使得該方法特別適合數(shù)據(jù)有限的場景。通過查看生成的偽文本樣例，可以看到它們確實能捕捉到圖像中的關(guān)鍵視覺元素和語義信息，如角色、動作和場景，為模型提供了豐富的學(xué)習(xí)材料。

比拼見高低

為了全面評估所提出方法的性能，研究人員在Pororo-SV和Flintstones-SV兩個故事可視化基準(zhǔn)數(shù)據(jù)集上進(jìn)行了廣泛的實驗，并與多種現(xiàn)有方法進(jìn)行了比較。

在Pororo-SV數(shù)據(jù)集上，CMOTA（上下文記憶和在線文本增強(qiáng)的組合）取得了顯著的性能提升。具體來說，CMOTA的FID得分為52.13，遠(yuǎn)低于之前最好的方法VLC-StoryGAN（84.96）和VP-CSV（65.51），表明它生成的圖像質(zhì)量更高、更逼真。在角色一致性方面，CMOTA的角色F1分?jǐn)?shù)達(dá)到53.25，幀準(zhǔn)確率為24.72%，也大幅超過了之前的方法。在全局語義匹配指標(biāo)上，CMOTA的BLEU-2/3分?jǐn)?shù)和R-Precision值分別為4.58/1.90和7.34，同樣優(yōu)于現(xiàn)有方法。

當(dāng)提高圖像分辨率到128128時，CMOTA-HR的性能進(jìn)一步提升，特別是在角色F1分?jǐn)?shù)（58.86）、幀準(zhǔn)確率（28.89%）和R-Precision（16.36）等指標(biāo)上有大幅提高，這表明高分辨率有助于捕捉更多視覺細(xì)節(jié)，生成更準(zhǔn)確的圖像。

在Flintstones-SV數(shù)據(jù)集上，CMOTA同樣表現(xiàn)出色。它的FID得分為36.71，遠(yuǎn)低于StoryGAN（127.19）、DuCo-StoryGAN（78.02）和VLC-StoryGAN（72.87），角色F1分?jǐn)?shù)和幀準(zhǔn)確率分別達(dá)到79.74和66.01%，BLEU-2/3分?jǐn)?shù)和R-Precision值分別為19.85/12.98和10.50，在所有指標(biāo)上都大幅領(lǐng)先于現(xiàn)有方法。

特別值得一提的是，CMOTA即使在不使用專門的角色中心模塊的情況下，也能在角色一致性方面表現(xiàn)出色。通過分析Pororo-SV數(shù)據(jù)集中不同角色的分類F1分?jǐn)?shù)，發(fā)現(xiàn)CMOTA在所有角色上都優(yōu)于DuCo-StoryGAN和VLC-StoryGAN，且隨著角色在訓(xùn)練數(shù)據(jù)中出現(xiàn)頻率的降低，其優(yōu)勢更加明顯。這表明CMOTA能更好地捕捉和保持跨句的角色信息。

為了驗證CMOTA的各個組件的有效性，研究人員進(jìn)行了一系列消融研究。從單向Transformer開始，逐步添加部分層次記憶連接、注意力加權(quán)記憶、雙向訓(xùn)練和在線增強(qiáng)，觀察每個組件對性能的影響。結(jié)果顯示，每個組件都對性能有積極貢獻(xiàn)，特別是部分層次記憶連接和在線文本增強(qiáng)帶來了最顯著的提升。

即使與大型預(yù)訓(xùn)練模型相比，CMOTA也表現(xiàn)出了競爭力。研究人員將CMOTA與基于DALL-E的StoryDALL-E進(jìn)行了比較，后者有13億參數(shù)，訓(xùn)練數(shù)據(jù)為1400萬文本-圖像對。盡管CMOTA在圖像質(zhì)量（FID）指標(biāo)上略遜于完全微調(diào)的StoryDALL-E，但在角色F1分?jǐn)?shù)和幀準(zhǔn)確率上反而優(yōu)于它，表明CMOTA在語義理解方面具有獨特優(yōu)勢。更令人驚訝的是，CMOTA的FID指標(biāo)（55.26）優(yōu)于僅更新30%參數(shù)的StoryDALL-E提示調(diào)整版本（61.23），且參數(shù)量僅為其7.4%。

為了獲得人類對生成質(zhì)量的主觀評價，研究人員在亞馬遜機(jī)械土耳其平臺上進(jìn)行了大規(guī)模人類偏好研究，邀請100名評估者從視覺質(zhì)量、時間一致性和語義相關(guān)性三個方面評估CMOTA和VLC-StoryGAN生成的圖像序列。結(jié)果顯示，在6464分辨率下，63.6%、59.0%和57.9%的評估者分別在這三個方面更偏好CMOTA的生成結(jié)果。在128128分辨率下，這些比例進(jìn)一步提高到76.6%、75.7%和74.6%，表明高分辨率下CMOTA的優(yōu)勢更加明顯。

從視覺上看，CMOTA生成的圖像序列在背景一致性、角色保持和視覺質(zhì)量方面都優(yōu)于之前的方法。例如，在描述艾迪尋找治療方法的故事中，CMOTA能夠保持一致的室內(nèi)背景和角色形象，而之前的方法則出現(xiàn)背景混亂或角色不一致的問題。

總的來說，這些實驗結(jié)果證明了上下文記憶和在線文本增強(qiáng)在故事可視化任務(wù)中的有效性，CMOTA不僅在各種客觀指標(biāo)上超越了現(xiàn)有方法，也在人類主觀評價中獲得了高度認(rèn)可。

參考資料

1. Ahn， D.， Kim， D.， Song， G.， Kim， S. H.， Lee， H.， Kang， D.， &； Choi， J. （2023）. Story Visualization by Online Text Augmentation with Context Memory. ICCV 2023.

2. Li， Y.， Min， M. R.， Shen， D.， Carlson， D.， &； Carin， L. （2018）. Video generation from text. AAAI 2018.

3. Wang， X.， Girshick， R.， Gupta， A.， &； He， K. （2018）. Non-local neural networks. CVPR 2018.

4. Ramesh， A.， Pavlov， M.， Goh， G.， Gray， S.， Voss， C.， Radford， A.， Chen， M.， &； Sutskever， I. （2021）. Zero-shot text-to-image generation. ICML 2021.

5. Vaswani， A.， Shazeer， N.， Parmar， N.， Uszkoreit， J.， Jones， L.， Gomez， A. N.， Kaiser， L.， &； Polosukhin， I. （2017）. Attention is all you need. NeurIPS 2017.