當(dāng)你使用手機(jī)或電腦修圖時(shí)，是否曾經(jīng)遇到過這樣的情況：你想在一張森林照片中依次添加一個(gè)樂高小人、一輛吉普車，再放一只小狗，但每次添加新元素時(shí)，前面添加的內(nèi)容卻變得奇怪或者完全消失了？韓國(guó)首爾國(guó)立大學(xué)的研究團(tuán)隊(duì)最近解決了這個(gè)令人頭痛的問題，他們?cè)?025年5月發(fā)表的一項(xiàng)名為《通過圖層式記憶提升圖像生成的可編輯性》的研究中，提出了一種讓AI圖像編輯變得更加直觀、自然的方法。

這項(xiàng)由首爾國(guó)立大學(xué)的Daneul Kim、Jaeah Lee和Jaesik Park教授領(lǐng)導(dǎo)的研究發(fā)表于arXiv預(yù)印本平臺(tái)（arXiv:2505.01079），于2025年5月2日公開。這篇論文提出了一種全新的圖像編輯框架，它能讓用戶使用簡(jiǎn)單的涂鴉式蒙版和文本提示，輕松地在圖像中添加多個(gè)元素，而且不會(huì)破壞已有的內(nèi)容。

一、為什么我們需要更好的圖像編輯工具？

想象一下這個(gè)場(chǎng)景：你想要?jiǎng)?chuàng)建一幅有趣的圖片，先畫一片森林，然后在森林中放一個(gè)樂高小人，再放一輛吉普車，最后添加一只坐著的小狗。聽起來很簡(jiǎn)單，對(duì)吧？但使用當(dāng)前的AI圖像編輯工具，這個(gè)任務(wù)卻出奇地困難。

現(xiàn)有的圖像編輯工具，像Photoshop的生成式填充功能或者專業(yè)的AI繪畫工具，大多數(shù)都是為單次編輯設(shè)計(jì)的。它們很擅長(zhǎng)一次性修改一個(gè)物體，比如改變顏色或風(fēng)格，但在多次連續(xù)編輯時(shí)就顯得力不從心了。這些工具面臨兩個(gè)主要問題：一是很難在保持現(xiàn)有編輯內(nèi)容的同時(shí)，添加新的元素；二是難以確保新添加的元素自然地融入到現(xiàn)有場(chǎng)景中。

就像做一道復(fù)雜的料理，如果每添加一種新食材就要重新烹飪整道菜，不僅耗時(shí)，還可能破壞已有的美味。類似地，每次在圖片中添加新元素時(shí)，如果都要重新生成整張圖片，那么之前精心設(shè)計(jì)的部分可能會(huì)被破壞。

首爾國(guó)立大學(xué)的研究團(tuán)隊(duì)觀察到，大多數(shù)真實(shí)世界的圖像編輯任務(wù)需要多次連續(xù)的編輯才能達(dá)到理想效果。然而，現(xiàn)有的編輯方法主要為單一物體修改設(shè)計(jì)，在連續(xù)編輯時(shí)面臨困難，特別是在維持先前編輯內(nèi)容的同時(shí)自然地將新物體適應(yīng)到現(xiàn)有內(nèi)容中。這些限制顯著阻礙了復(fù)雜編輯場(chǎng)景，這些場(chǎng)景中多個(gè)物體需要修改的同時(shí)保持它們的上下文關(guān)系。

二、圖層式記憶：如同給記憶添加書簽

研究團(tuán)隊(duì)提出了一個(gè)創(chuàng)新的解決方案，名為"圖層式記憶"（Layer-wise Memory）。這個(gè)概念就像是給AI的記憶添加了書簽，讓它能夠記住每一步編輯的內(nèi)容和位置。

想象你在讀一本復(fù)雜的小說，你可能會(huì)在重要情節(jié)處放置書簽，以便之后能夠輕松找回。圖層式記憶就是這樣工作的——它為每次編輯"做標(biāo)記"，存儲(chǔ)三個(gè)關(guān)鍵信息：

潛在表示（Latent Representations）：這就像是圖像的"數(shù)字DNA"，包含了圖像中每個(gè)元素的形狀、顏色和位置等信息。
提示嵌入（Prompt Embeddings）：這是用戶輸入的文字描述，比如"樂高小人站著"或"一只坐著的狗"。
蒙版（Masks）：這定義了每個(gè)新添加元素應(yīng)該出現(xiàn)在圖像的哪個(gè)位置。

有了這些存儲(chǔ)的信息，AI就能記住每一步編輯的細(xì)節(jié)，不必每次都重新計(jì)算整個(gè)圖像，從而節(jié)省計(jì)算資源并保持編輯的一致性。

這就像一個(gè)有組織的廚師，不僅記得整道菜的食譜，還記得每一種食材的添加順序和放置位置，以便在需要時(shí)精確地修改或添加新食材，而不會(huì)破壞整道菜的和諧。

三、蒙版順序：決定誰在前誰在后

研究團(tuán)隊(duì)引入了一個(gè)巧妙的概念叫做"蒙版順序"（Mask Order）。這一概念決定了多個(gè)對(duì)象生成的順序，從而指定哪些對(duì)象應(yīng)該出現(xiàn)在前面，哪些應(yīng)該在后面。

想象你在給一幅畫添加不同層次的元素。在傳統(tǒng)繪畫中，你會(huì)先畫遠(yuǎn)處的背景，然后逐漸向前添加中景和前景的元素。蒙版順序就是這樣工作的，它告訴AI哪些元素應(yīng)該被"畫在上面"。

例如，在論文圖1中，研究人員先添加了"一片森林"作為背景，然后添加了"站著的樂高小人"和"一輛吉普車前視圖"。如果用戶接著想添加"一只坐著的狗"，并且蒙版與吉普車和樂高人重疊，這就意味著用戶希望將"狗"放在"吉普車"和"樂高人"的前面。系統(tǒng)會(huì)理解這種意圖，確保新添加的狗正確地出現(xiàn)在前景位置，而不會(huì)被其他元素蓋住。

這種方法非常直觀，就像使用圖層式繪圖軟件一樣，用戶可以控制哪些元素應(yīng)該出現(xiàn)在前面，哪些應(yīng)該在后面，從而創(chuàng)建有深度感的圖像。

四、核心技術(shù)：如何實(shí)現(xiàn)連貫的編輯體驗(yàn)

為了實(shí)現(xiàn)這一框架，研究團(tuán)隊(duì)開發(fā)了三個(gè)關(guān)鍵技術(shù)組件：

1. 圖層式記憶：存儲(chǔ)編輯歷史

如前所述，圖層式記憶就像是一個(gè)智能書架，存儲(chǔ)和管理來自先前編輯步驟的潛在表示、提示嵌入和蒙版信息。這種存儲(chǔ)機(jī)制消除了順序修改中典型的冗余計(jì)算，同時(shí)在多次編輯之間保持一致性。

圖層式記憶的工作方式有點(diǎn)像制作一本照片相冊(cè)，你不僅保存了最終的照片，還記錄了每一張照片的拍攝設(shè)置、拍攝地點(diǎn)和構(gòu)圖方式。這樣，當(dāng)你想修改或添加新內(nèi)容時(shí)，可以精確地回到之前的狀態(tài)，而不會(huì)丟失任何信息。

2. 背景一致性引導(dǎo)：保持穩(wěn)定性

背景一致性引導(dǎo)（Background Consistency Guidance，簡(jiǎn)稱BCG）確保未編輯的區(qū)域保持穩(wěn)定，并通過避免對(duì)原始圖像重復(fù)進(jìn)行前向傳遞來減少計(jì)算開銷。

想象你在修改一幅拼圖，你只想更換其中一塊，而不是重新拼整個(gè)圖。BCG就是這樣工作的——它只更新用戶指定的區(qū)域，而保持其余部分不變。這不僅確保了背景的一致性，還大大減少了處理時(shí)間。

研究團(tuán)隊(duì)進(jìn)行了計(jì)算比較，發(fā)現(xiàn)使用BCG可以減少約10%的計(jì)算時(shí)間。這種效率提升在需要多次序列修改的場(chǎng)景中變得更加顯著，因?yàn)閭鹘y(tǒng)方法（如潛在混合）需要對(duì)每次編輯進(jìn)行多次前向傳遞，而BCG不需要。

3. 多查詢解耦：自然融合新元素

多查詢解耦（Multi-Query Disentanglement，簡(jiǎn)稱MQD）在交叉注意力中應(yīng)用，使新對(duì)象能夠與現(xiàn)有內(nèi)容自然融合。

想象一個(gè)熟練的故事講述者，能夠?qū)⑿陆巧珶o縫地融入到已有的故事情節(jié)中，不會(huì)讓讀者感到突兀。MQD就是這樣工作的——它幫助AI理解新添加元素與現(xiàn)有內(nèi)容之間的關(guān)系，確保它們?cè)谝曈X上協(xié)調(diào)一致。

例如，當(dāng)添加"一個(gè)盤子"時(shí)，MQD能確保盤子自然地融入背景，同時(shí)正確地遮擋其他物體如"一個(gè)杯子"和"一個(gè)紙杯蛋糕"。這創(chuàng)造了一種深度感知，使場(chǎng)景更加真實(shí)。

這三個(gè)組件協(xié)同工作，創(chuàng)造了一個(gè)強(qiáng)大而直觀的編輯框架。用戶只需提供簡(jiǎn)單的涂鴉式蒙版和文本描述，就能創(chuàng)建復(fù)雜而連貫的圖像，而不必?fù)?dān)心每次編輯都會(huì)破壞之前的工作。

五、超越傳統(tǒng)：多編輯基準(zhǔn)測(cè)試

為了評(píng)估他們的方法，研究團(tuán)隊(duì)還提出了一個(gè)新的基準(zhǔn)數(shù)據(jù)集，名為"多編輯基準(zhǔn)"（Multi-Edit Bench）。這個(gè)基準(zhǔn)測(cè)試專門針對(duì)迭代圖像編輯能力進(jìn)行評(píng)估。

現(xiàn)有的基準(zhǔn)測(cè)試要么專注于單次編輯，要么關(guān)注布局到圖像的生成，無法捕捉順序修改的挑戰(zhàn)。研究團(tuán)隊(duì)的基準(zhǔn)測(cè)試引入了圖層式語義評(píng)估指標(biāo)，評(píng)估多步編輯場(chǎng)景中的編輯質(zhì)量和跨修改一致性。

這就像是為廚師們?cè)O(shè)計(jì)了一個(gè)全新的烹飪比賽，不僅評(píng)判最終菜肴的味道，還評(píng)估整個(gè)烹飪過程中的一致性和技巧。這種多方面的評(píng)估更好地反映了實(shí)際編輯工作流程，用戶在其中通過添加、刪除或重新定位對(duì)象來迭代細(xì)化場(chǎng)景。

六、令人印象深刻的結(jié)果

研究團(tuán)隊(duì)通過全面實(shí)驗(yàn)證明了他們的方法在迭代圖像編輯任務(wù)中的優(yōu)越性能。他們的框架只需要粗略的蒙版輸入，同時(shí)在多個(gè)編輯步驟中保持高質(zhì)量的結(jié)果。

在量化評(píng)估中，他們的方法在語義對(duì)齊（BLEU、METEOR）和視覺對(duì)齊（CLIP得分）等指標(biāo)上超過了現(xiàn)有的基線方法。具體來說，對(duì)于1024×1024分辨率的圖像，他們的方法在BLEU-2/3/4上達(dá)到64.99/47.69/36.59，在METEOR上達(dá)到0.1513，在CLIP得分上達(dá)到64.29，這些指標(biāo)均超過其他方法。

在視覺質(zhì)量方面，他們的方法展示了令人印象深刻的能力，能夠處理復(fù)雜的多對(duì)象場(chǎng)景。例如，在一個(gè)測(cè)試中，他們的系統(tǒng)能夠在一個(gè)場(chǎng)景中依次添加"一個(gè)樂高人"、"一輛吉普車"和"一只坐著的狗"，每個(gè)新添加的元素都自然地融入到現(xiàn)有場(chǎng)景中，同時(shí)保持適當(dāng)?shù)目臻g關(guān)系。

人類偏好研究進(jìn)一步證實(shí)了這些結(jié)果，用戶在背景一致性、自然適應(yīng)和文本-場(chǎng)景對(duì)齊等方面給予了該方法更高的評(píng)分。在5分制評(píng)分中，該方法在背景一致性上獲得4.59分，在自然適應(yīng)性上獲得4.28分，在文本場(chǎng)景對(duì)齊上獲得4.49分，遠(yuǎn)高于其他方法。

七、應(yīng)用場(chǎng)景與未來展望

這項(xiàng)研究的應(yīng)用前景十分廣闊，從個(gè)人創(chuàng)意項(xiàng)目到專業(yè)設(shè)計(jì)領(lǐng)域都能受益：

對(duì)于普通用戶，這項(xiàng)技術(shù)使復(fù)雜的圖像創(chuàng)作變得簡(jiǎn)單直觀。想象一下，你只需要用簡(jiǎn)單的文字描述和涂鴉，就能創(chuàng)建出包含多個(gè)元素的精美圖像。

對(duì)于專業(yè)設(shè)計(jì)師，這項(xiàng)技術(shù)能夠大大提高工作效率。設(shè)計(jì)師可以迅速嘗試不同的布局和元素組合，而不必?fù)?dān)心每次修改都會(huì)破壞之前的工作。

在教育領(lǐng)域，這項(xiàng)技術(shù)可以幫助學(xué)生更容易地表達(dá)創(chuàng)意想法，創(chuàng)建視覺故事或概念圖。

在內(nèi)容創(chuàng)作和娛樂行業(yè)，這項(xiàng)技術(shù)可以加速原型設(shè)計(jì)和概念藝術(shù)的創(chuàng)作過程。

當(dāng)然，這項(xiàng)技術(shù)也存在一些局限性。由于使用圖像編輯方法生成多個(gè)對(duì)象需要更長(zhǎng)的時(shí)間，取決于編輯次數(shù)。此外，使用圖層式記憶需要額外的內(nèi)存成本。研究團(tuán)隊(duì)計(jì)劃在未來工作中使其更加高效，以實(shí)現(xiàn)更快的編輯。

八、與現(xiàn)有技術(shù)的比較

研究團(tuán)隊(duì)將他們的方法與多種現(xiàn)有技術(shù)進(jìn)行了比較，包括圖像修補(bǔ)工具（如HD Painter和Blended Latent Diffusion）和布局到圖像生成模型（如NoiseCollage和LayoutGuidance）。

結(jié)果顯示，他們的方法在處理連續(xù)編輯場(chǎng)景時(shí)具有明顯優(yōu)勢(shì)。現(xiàn)有的圖像修補(bǔ)工具在單步編輯中表現(xiàn)不錯(cuò)，但在多步驟編輯中往往難以保持一致性。而布局到圖像生成模型雖然能處理復(fù)雜布局，但通常需要重新生成整個(gè)圖像，無法保持背景一致性。

這就像比較不同類型的廚師：有些廚師擅長(zhǎng)做單一菜肴，有些廚師擅長(zhǎng)設(shè)計(jì)整個(gè)菜單，而研究團(tuán)隊(duì)的方法就像一個(gè)既能精確調(diào)整單一菜肴，又能協(xié)調(diào)整個(gè)菜單的廚師，能夠在保持整體和諧的同時(shí)，精確地修改或添加新元素。

九、結(jié)語：圖像編輯的新時(shí)代

首爾國(guó)立大學(xué)研究團(tuán)隊(duì)的這項(xiàng)工作標(biāo)志著圖像編輯領(lǐng)域的一個(gè)重要進(jìn)步。通過圖層式記憶、背景一致性引導(dǎo)和多查詢解耦這三大創(chuàng)新組件的結(jié)合，他們創(chuàng)造了一個(gè)能夠處理復(fù)雜連續(xù)編輯任務(wù)的強(qiáng)大框架。

這項(xiàng)技術(shù)的核心價(jià)值在于它的直觀性和自然性。用戶不需要成為PS專家或了解復(fù)雜的AI原理，只需要提供簡(jiǎn)單的文字描述和涂鴉式蒙版，就能創(chuàng)建出復(fù)雜而自然的圖像。這種簡(jiǎn)化不僅使技術(shù)更加親民，也為創(chuàng)意表達(dá)提供了更廣闊的空間。

從更廣泛的角度來看，這項(xiàng)研究反映了AI圖像生成技術(shù)的發(fā)展趨勢(shì)——從單一、靜態(tài)的生成向交互式、迭代的創(chuàng)作過程轉(zhuǎn)變。這不僅提高了技術(shù)的實(shí)用性，也更符合人類創(chuàng)作的自然過程，讓AI成為創(chuàng)意表達(dá)的助手，而不僅僅是工具。

如果你對(duì)這項(xiàng)研究感興趣，可以通過arXiv:2505.01079查閱完整論文，深入了解技術(shù)細(xì)節(jié)和更多示例。隨著這類技術(shù)的不斷發(fā)展，我們可以期待未來的圖像創(chuàng)作過程變得更加自然、直觀和有創(chuàng)意。