前段時(shí)間東北大學(xué)聯(lián)合Stability AI

發(fā)表了一項(xiàng)新技術(shù)：HouseCrafter，

能夠?qū)⒎孔拥钠矫鎴D轉(zhuǎn)成完整的3D室內(nèi)場(chǎng)景！

方法的核心是一個(gè) 2D 擴(kuò)散模型，

它可以生成場(chǎng)景的一致多視圖 RGBD 圖像

進(jìn)而生成3D模型預(yù)覽

論文地址：https://arxiv.org/abs/2406.20077

代碼地址：https://github.com/google/placeholder（即將開(kāi)源）

論文閱讀

摘要

我們推出了 HouseCrafter，這是一種新穎的方法，可以將平面圖提升為完整的大型 3D 室內(nèi)場(chǎng)景（例如房屋）。

我們的主要見(jiàn)解是調(diào)整在網(wǎng)絡(luò)規(guī)模圖像上訓(xùn)練的 2D 擴(kuò)散模型，以在場(chǎng)景的不同位置生成一致的多視圖顏色 (RGB) 和深度 (D) 圖像。具體來(lái)說(shuō)，RGB-D 圖像以分批方式自回歸地沿著基于布局圖的采樣位置生成，其中先前生成的圖像用作擴(kuò)散模型的條件以在附近位置生成圖像。擴(kuò)散模型中的全局布局圖和注意力設(shè)計(jì)確保了生成的圖像的一致性，從中可以重建 3D 場(chǎng)景。

通過(guò)對(duì) 3D-Front 數(shù)據(jù)集進(jìn)行廣泛的評(píng)估，我們證明了 HouseCraft 可以生成高質(zhì)量的房屋規(guī)模 3D 場(chǎng)景。我們將發(fā)布我們的代碼和模型權(quán)重。

方法

我們的方法首先生成場(chǎng)景的多視圖二維觀測(cè)，然后以三維形式重建。我們訓(xùn)練一個(gè)可以使用 RGBD 圖像執(zhí)行新視圖合成的擴(kuò)散模型。具體來(lái)說(shuō)，該模型從附近位置獲取多張 RGBD 圖像，并將編碼的平面圖作為條件，然后輸出一批彼此一致且符合條件的 RGBD 圖像。

我們方法的核心是一個(gè) 2D 擴(kuò)散模型，它可以生成場(chǎng)景的一致多視圖 RGBD 圖像。我們的模型架構(gòu)靈感來(lái)自 SOTA 以對(duì)象為中心的新型視圖合成模型的設(shè)計(jì)，但針對(duì)場(chǎng)景級(jí)內(nèi)容的幾何和語(yǔ)義復(fù)雜性進(jìn)行了重新設(shè)計(jì)。首先，我們將參考條件和圖像生成都更改為 RGB-D 設(shè)置，而不是僅 RGB，因?yàn)?RGB-D 圖像為 3D 場(chǎng)景重建提供了強(qiáng)有力的線索。其次，我們?cè)诿總€(gè) unet 塊的開(kāi)頭插入一個(gè)布局注意層，以鼓勵(lì)生成的圖像忠實(shí)于平面圖，確保在生成房屋規(guī)模場(chǎng)景時(shí)具有全局一致性。此外，交叉注意層（在先前的作品中為參考新穎視圖注意而引入）已更新為利用參考深度的幾何形狀，從而生成更高質(zhì)量的圖像。

效果

用戶可以通過(guò)移動(dòng)平面圖上的家具來(lái)輕松編輯場(chǎng)景的布局。生成的場(chǎng)景也會(huì)相應(yīng)改變。

雖然目前來(lái)看

生成的實(shí)際模型效果精度還很低

但如果能建立一個(gè)完整的室內(nèi)設(shè)計(jì)預(yù)設(shè)模型庫(kù)

進(jìn)行實(shí)時(shí)調(diào)用。

未來(lái)作為室內(nèi)設(shè)計(jì)快速布局預(yù)覽、

與客戶溝通布局也許是個(gè)不錯(cuò)的選擇。

（其實(shí)咱們國(guó)內(nèi)已經(jīng)有類(lèi)似的成熟產(chǎn)品，

知道的模友可以分享在評(píng)論區(qū)）

-End-

更多免費(fèi)CG資產(chǎn)

歡迎前往CG模型網(wǎng)下載：

https://www.cgmodel.com/