henry 發自 凹非寺
量子位 | 公眾號 QbitAI

曾幾何時，用文字生成圖像已經變得像用筆作畫一樣稀松平常。

但你有沒有想過拖動方向鍵來控制畫面？

像這樣，拖動方向鍵（或用鼠標拖動滑塊）讓畫面里的物體左右移動：

還能旋轉角度：

縮放大小：

這一神奇操作就來自于謝賽寧團隊新發布的 Blender Fusion框架，通過結合圖形工具 (Blender) 與擴散模型，讓視覺合成不再僅僅依賴文本提示，實現了精準的畫面控制與靈活操作。

圖像合成三步走

BlenderFusion “按鍵生圖” 的核心并不在于模型自身的創新，而在于其對現有技術（分割、深度估計、Blender渲染、擴散模型）的高效組合，打通了一套新的Pipeline 。

這套Pipeline包含三個步驟：先將物體和場景分離 → 再用Blender做3D編輯 → 最后用擴散模型生成高質量合成圖像。

接下來看看每一步都是怎么做的吧！

以物體為中心的分層。（Object-centric Layering）

第一步是將輸入的圖像或視頻中的各個物體從原有的場景中分離，并推斷出它們的三維信息。

具體來說，BlenderFusion利用現有強大的視覺基礎模型進行分割和深度估計：用Segment Anything Model（SAM）分割畫面中的物體，用Depth Pro模型進行深度推斷賦予物體深度。

通過對每一個被分割出的物體進行深度估計，將來自圖像或視頻的2D輸入投影到3D空間，從而為后續的3D編輯奠定基礎。

這種做法避免了從頭訓練3D重建模型，充分利用了現成的大規模預訓練能力。

基于Blender的編輯（Blender-grounded Editing）

第二步是將分離出的物體導入Blender進行各種精細化編輯。在Blender中，既可以對物體進行多種操作（顏色、紋理、局部編輯、加入新物體等），也可以對相機進行控制（如相機視點和背景變化）。

第三步：生成式合成（Generative Compositing）

雖然通過Blender渲染后的場景在空間結構上高度準確，但外觀、紋理和光照仍然相對粗糙。

因此，在流程的最后一步，Blender Fusion引入了擴散模型（SD v2.1）對結果進行視覺增強。

為此，Blender Fusion提出了雙流擴散合成器（dual-stream diffusion compositor）。

該模型同時接收：原始輸入場景（未編輯）和編輯后的粗渲染圖像。通過對比兩者，模型學習在保持全局外觀一致性的同時，僅在需要編輯的區域進行高保真改動。這樣可以避免傳統擴散模型“重繪全圖”導致的失真，也防止未修改部分的退化。

一些trick

此外，為了提高Blender Fusion的泛化性，論文中還透露了兩項重要的訓練技巧：

源遮擋（Source Masking）：在訓練時隨機遮蔽源圖部分，迫使模型學會基于條件信息恢復完整圖像。

模擬物體抖動（Simulated Object Jittering）：模擬物體的隨機偏移和擾動，提高對相機和物體的解耦能力。這一組合顯著提升了生成結果的真實感和一致性。

結果演示

Blender Fusion在針對物體和相機操控的視覺生成中取得了不錯的效果。

正如我們在文章開頭的demo中所演示的，通過任意控制方向鍵來控制物體在圖像中的位置，畫面保持了較強的一致性與連貫性。

此外，Blender Fusion還能夠在各種復雜的場景編輯中保持空間關系和視覺連貫性，主要包括：

單幅圖像處理：靈活地重新排列、復制和變換物體，以及改變相機視角。

多圖像場景重組：組合任何圖像中的物體以創建全新的場景。

泛化：這些編輯功能成功地推廣到訓練期間未見過的物體和場景。

在AI視覺合成越來越卷的當下，Blender Fusion就像給創作者多了一只“第三只手”。

用戶不再被提示詞困住，也不需要反復試錯就能拼出理想畫面。

從物體分層到三維編輯，再到高保真生成，這套流程不僅讓AI圖像合成更“聽話”，也讓玩法更自由。

或許，你的下一次生圖將不再是“遣詞造句”，而是能像搭積木一樣，把每個細節都親手擺到位。

論文地址：

https://arxiv.org/abs/2506.17450

項目頁面：

https://blenderfusion.github.io/#compositing