基于圖像的虛擬穿衣是一種流行且前景廣闊的圖像合成技術,能夠顯著改善消費者的購物體驗,并降低服裝商家的廣告成本。顧名思義,虛擬穿衣任務旨在生成目標人穿著給定服裝的圖像。
OOTDiffusion簡述
圖1 虛擬換衣
基于圖像的虛擬穿衣目前面臨兩個主要挑戰:
首先,生成的圖像應足夠逼真和自然,以避免不和諧感。大多數最近關于虛擬試穿的研究利用生成對抗網絡(GANs)或潛在擴散模型(LDMs)進行圖像生成。先前基于GAN的方法通常難以生成正確的服裝褶皺、自然的光影或逼真的人體。因此,更多近期的工作傾向于基于LDM的方法,這些方法有效提高了試穿圖像的逼真度。
第二個關鍵挑戰是盡可能保留服裝的細節特征,如復雜的文本、紋理、顏色、圖案和線條等。先前的研究執行顯式的變形過程,將服裝特征與目標人體對齊,然后將變形后的服裝輸入到生成模型(即GANs和LDMs等)中。因此,這種方法的性能極大地依賴于獨立變形過程的有效性,而這一過程容易對訓練數據過擬合。
圖2 OOTDiffusion模型
鑒于上述問題的前景和挑戰,一種新穎的基于LDM的虛擬試穿方法,稱為Outfitting over Try-on Diffusion(OOTDiffusion;見圖2)被提出。
圖3 OOTDiffusion 丟棄操作
OOTDiffusion模型生成的效果與其他模型對比,有了較大的提升,可以從對比圖可以看出,OOTDiffusion模型生成的效果并沒有改變服裝的特性,而其他的模型多多少少更改了服裝的特性,給人的感覺并沒有換上合適的衣服。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.