Customization of latent space in semi-supervised Variational AutoEncoder

半監(jiān)督變分自動編碼器中潛在空間的定制

https://www.sciencedirect.com/science/article/pii/S0167865523003288

https://github.com/an-seunghwan/EXoN_official

摘要

我們提出了一種新穎的變分自編碼器 (VAE) 半監(jiān)督學(xué)習(xí)方法，該方法通過我們的可解釋編碼器網(wǎng)絡(luò) (EXoN) 生成定制的潛在空間。定制涉及手動設(shè)計(jì)插值和結(jié)構(gòu)約束，例如接近性，從而增強(qiáng)潛在空間的解釋性。為了提高分類性能，我們引入了一種新的半監(jiān)督分類方法，稱為 SCI（軟標(biāo)簽一致性插值）。將分類損失和 Kullback-Leibler 散度結(jié)合起來對于構(gòu)建可解釋的潛在空間至關(guān)重要。此外，生成樣本的可變性由一個主動潛在子空間決定，該子空間有效地捕捉了獨(dú)特的特征。我們使用 MNIST、SVHN 和 CIFAR-10 數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，結(jié)果表明，我們的方法生成了可解釋的潛在空間，同時顯著減少了分析潛在空間內(nèi)表示模式所需的工作量。

關(guān)鍵詞：變分自編碼器 可解釋的潛在空間 半監(jiān)督 定制化

1. 引言

變分自編碼器 (VAE) [1] 旨在實(shí)現(xiàn)兩個主要目標(biāo)：構(gòu)建有意義的潛在空間并準(zhǔn)確重建原始觀測結(jié)果。在 VAE 框架中，神經(jīng)網(wǎng)絡(luò)通常用于參數(shù)化概率模型，充當(dāng)觀測域和潛在空間之間的映射。然而，由于不存在封閉形式的概率模型，直接應(yīng)用最大似然估計(jì)并不合適。相反，通常采用變分貝葉斯方法來最大化證據(jù)下界 (ELBO)。這種方法允許在貝葉斯框架內(nèi)有效估計(jì)模型的參數(shù)和潛在表示。

已經(jīng)提出了許多技術(shù)用于 VAE 框架中的（半）監(jiān)督學(xué)習(xí) [2–5]。盡管它們?nèi)〉昧诉M(jìn)展，但現(xiàn)有的半監(jiān)督 VAE 模型仍然遇到實(shí)際限制。[2–4] 引入了額外的離散潛在空間來表示標(biāo)簽。然而，這些模型缺乏通過不同標(biāo)簽圖像之間的插值生成新圖像的定量度量。此外，使用他們提出的方法對潛在空間施加結(jié)構(gòu)約束（例如，強(qiáng)制標(biāo)記觀測值之間的潛在特征接近性）是具有挑戰(zhàn)性的。

為了增強(qiáng)潛在空間的解釋性，我們提出了一種新穎的半監(jiān)督 VAE 模型，該模型結(jié)合了插值和結(jié)構(gòu)約束的手動設(shè)計(jì)。我們采用高斯混合模型作為先驗(yàn)和后驗(yàn)潛在分布 [6,7]。我們方法的關(guān)鍵概念是構(gòu)建一個允許定制潛在空間的編碼器，在保留接近信息的同時，建立每個混合成分與特定標(biāo)簽之間的對應(yīng)關(guān)系。換句話說，混合分布的每個質(zhì)心都被訓(xùn)練為一個標(biāo)識符，代表一個特定的標(biāo)簽，而基于標(biāo)簽的手動分解潛在空間為用戶提供了定制的、可解釋的表示。與 [5] 中的方法不同，我們訓(xùn)練的潛在空間在不同的訓(xùn)練過程中保持一致。這意味著我們可以在不使用整個觀測值探索潛在空間的情況下，始終從潛在空間中獲得關(guān)于插值圖像的有意義信息。

此外，我們引入了一種新穎的度量方法來評估潛在變量的表示能力，使我們能夠檢查特定潛在子空間的重要性。我們的研究結(jié)果表明，我們 VAE 模型中的編碼器選擇性地激活了潛在空間的一個子集，有效地捕捉了生成樣本的獨(dú)特特征。這種激活通過與編碼器相關(guān)的后驗(yàn)方差進(jìn)行量化。受基因生物學(xué)術(shù)語的啟發(fā)，我們將我們的編碼器命名為 EXoN（可解釋編碼器網(wǎng)絡(luò)）。

2. 相關(guān)工作

零樣本學(xué)習(xí)中的設(shè)計(jì)潛在空間

在零樣本學(xué)習(xí)中，潛在空間的設(shè)計(jì)在表示多模態(tài)觀測和促進(jìn)準(zhǔn)確的零樣本學(xué)習(xí)中起著關(guān)鍵作用。[8,9] 旨在從不同模態(tài)學(xué)習(xí)聯(lián)合潛在變量，并構(gòu)建對齊的潛在空間。為了實(shí)現(xiàn)對齊，這些方法利用接近性度量，如最大均值差異、平方損失互信息和 Wasserstein 距離，以確保不同模態(tài)的潛在分布之間的一致性。我們提出的方法的一個顯著區(qū)別在于，即使在經(jīng)歷不同的訓(xùn)練過程后，潛在空間結(jié)構(gòu)與手動預(yù)設(shè)計(jì)的一致性仍然保持不變。這一獨(dú)特特性使我們能夠在不需要使用完整觀測值廣泛探索潛在空間的情況下，獲得關(guān)于插值圖像的有意義信息。

半監(jiān)督 VAE 學(xué)習(xí)方法 在 [2] 中，標(biāo)簽被視為離散潛在變量，類似于 [3]，與標(biāo)簽相關(guān)的后驗(yàn)分布作為分類器。然而，在推導(dǎo) ELBO 時，分類器僅通過未標(biāo)記數(shù)據(jù)集進(jìn)行訓(xùn)練。為了解決這個問題，[2] 引入了一個額外的分類損失，利用標(biāo)記數(shù)據(jù)集來增強(qiáng)分類器和后驗(yàn)推斷的訓(xùn)練。[4] 提出了平滑 ELBO，它直接將標(biāo)簽信息集成到 ELBO 中。此外，[4] 通過引入基于數(shù)據(jù)空間中最佳插值的分類損失來提高半監(jiān)督分類性能。另一方面，[5] 將潛在變量和標(biāo)簽的潛在空間集成在一起，將標(biāo)簽分類器納入高斯先驗(yàn)分布的混合中。為了增強(qiáng)標(biāo)簽的后驗(yàn)推斷，[5] 引入了 [2] 的額外監(jiān)督分類損失。

半監(jiān)督分類 已經(jīng)提出了各種正則化技術(shù)來提高半監(jiān)督分類的性能。-模型 [10] 利用暗知識的概念，通過最小化從同一輸入獲得的不同輸出向量之間的平方差來促進(jìn)預(yù)測一致性。虛擬對抗訓(xùn)練 (VAT) [11] 通過在虛擬對抗方向上分配相同的標(biāo)簽分布來訓(xùn)練模型，該方向最大化輸出分布之間的差異。為了防止過度擬合模型預(yù)測，MixMatch [12] 和 PLCB [13] 利用通過數(shù)據(jù)增強(qiáng)和混合策略 [14] 獲得的偽標(biāo)簽。

主動潛在維度 [15,16] 引入了統(tǒng)計(jì)方法來識別捕捉觀測重要信息并在大數(shù)據(jù)生成中起關(guān)鍵作用的主動潛在維度。[15] 提出的統(tǒng)計(jì)方法源自對編碼器分布參數(shù)的經(jīng)驗(yàn)分析。另一方面，[16] 提出的統(tǒng)計(jì)方法特別適用于解碼器的均值向量遵循仿射映射的情況。

3. 提議

3.1.模型假設(shè)

3.2. EXoN：半監(jiān)督VAE

在我們的半監(jiān)督VAE模型中，懲罰函數(shù)的應(yīng)用采用了與[2]相似的理念。然而，規(guī)范化目標(biāo)函數(shù)的推導(dǎo)源自于(2)，這與現(xiàn)有研究不同。

3.3. SCI：軟標(biāo)簽一致性插值

分類器對給定數(shù)據(jù)點(diǎn)的標(biāo)簽條件分布進(jìn)行局部近似。如果分類器僅在小型標(biāo)記數(shù)據(jù)集上進(jìn)行訓(xùn)練，數(shù)據(jù)空間將包含許多空白區(qū)域。因此，分類器在這些空白區(qū)域的預(yù)測性能嚴(yán)重依賴于分類器的基本假設(shè)。因此，雖然(3)的推導(dǎo)在數(shù)學(xué)上是可行的，但它不能保證半監(jiān)督分類的最先進(jìn)性能。然而，我們可以通過使用大量未標(biāo)記數(shù)據(jù)點(diǎn)進(jìn)行線性插值來填補(bǔ)這些空白區(qū)域，從而減少分類器的方差。 因此，為了增強(qiáng)半監(jiān)督分類的性能，我們引入了一種名為軟標(biāo)簽一致性插值（SCI）損失的新?lián)p失函數(shù)。這種損失利用了線性插值和偽標(biāo)記技術(shù)[12,13]。

SCI損失由三部分組成：(1)一個插值的新圖像與一對未標(biāo)記圖像，(2)一對未標(biāo)記圖像的偽標(biāo)簽，以及(3)交叉熵的凸組合。

一致性插值意味著從圖像到偽標(biāo)簽的線性映射 的存在。眾所周知，這種混合策略可以改善泛化誤差 [14]。有趣的是，在我們 VAE 模型中對 (?; ?) 的估計(jì)也被其他現(xiàn)有的半監(jiān)督學(xué)習(xí)方法 [4,13] 使用，以下算法提供了一個通用框架來估計(jì) VAE 模型中的 (?; ?)。設(shè) () 是通過第 步訓(xùn)練 VAE 獲得的 的估計(jì)值，(+1) 是以下最優(yōu)插值問題的解 [4]

3.4. 活躍的潛在子空間

其中 [] = {1, … , }。我們的數(shù)值研究發(fā)現(xiàn)，該子空間代表了生成樣本的信息特征，并且該子空間可以有效地用于生成高質(zhì)量圖像（見第 4.2 節(jié)）。這些結(jié)果與 VQ-VAE [20] 的結(jié)果一致，即圖像生成過程主要依賴于近似確定性的編碼映射，并且映射的細(xì)化可以提高生成圖像的質(zhì)量。

4. 實(shí)驗(yàn)

由于各種超參數(shù)的計(jì)算問題，我們選擇了一些最能代表我們主張的離散值。值得注意的是，所有比較模型具有相同的潛在維度大小。為了可重復(fù)性，代碼已公開發(fā)布，并可在 https://github.com/an-seunghwan/EXoN_official 獲取。

4.1. MNIST 數(shù)據(jù)集

我們使用了 MNIST 數(shù)據(jù)集 [21] 來考慮我們 VAE 模型中的二維潛在空間。數(shù)值被縮放到 -1 到 1 的范圍內(nèi)。編碼器返回 10 成分高斯混合分布參數(shù)、混合概率、均值向量和對角協(xié)方差元素。因此，編碼器將  映射到 ((0, 1)。特別是混合概率由編碼器中的分類器生成。Gumbel-Max 技巧 [22] 用于采樣離散潛在變量。編碼器、解碼器和分類器的詳細(xì)網(wǎng)絡(luò)架構(gòu)在附錄 A.4.2 中描述。定制的 () 如圖 1(a) 所示。每個標(biāo)簽從 3 點(diǎn)鐘方向逆時針分配給混合成分。請注意，圖 1(a) 展示了一個概念中心的示例。混合分布的第 個成分對應(yīng)于 MNIST 數(shù)據(jù)集中數(shù)字 (? 1) 的分布，其中 = 1, …, 10（有關(guān)詳細(xì)的預(yù)設(shè)計(jì)設(shè)置，請參見附錄 A.4.1）。

我們的模型與 [2,4,5] 進(jìn)行了比較，模擬結(jié)果顯示，我們的擬合模型在 59,900 個未標(biāo)記和 100 個標(biāo)記圖像上實(shí)現(xiàn)了有競爭力的分類性能，錯誤率為 3.23%（有關(guān)比較結(jié)果，請參見附錄 A.2）。實(shí)現(xiàn)細(xì)節(jié)在附錄 A.4.1 中描述。

4.1.1. 正則化的效果

首先，研究了 (7) 中調(diào)諧參數(shù) 在擬合潛在空間中的作用。圖 1(b) 的上部面板顯示了來自 (|; , ) 的樣本，其中 是測試數(shù)據(jù)集中的一個觀測值，下部面板顯示了從潛在空間上的網(wǎng)格點(diǎn)生成的圖像。上部面板表明，較大的 通過間接增加目標(biāo)函數(shù)中 KL-散度項(xiàng)的權(quán)重，將 (|; , ) 正則化為 ()。下部面板顯示，每個生成的圖像完全匹配預(yù)設(shè)計(jì)潛在空間上定義的標(biāo)簽。此外，確認(rèn)了生成的圖像根據(jù)我們對概念中心的排列自然地插值在預(yù)設(shè)計(jì)潛在空間上。這些結(jié)果表明，所提出的 VAE 生成了帶有標(biāo)簽的可解釋潛在空間。有關(guān)各種 值的附加評估結(jié)果（負(fù)平均單尺度結(jié)構(gòu)相似性 (negative SSIM) [23]、分類錯誤率和 KL-散度），請參見附錄 A.2.1。

4.1.2. 生成圖像的多樣性

為了在大 下最大化 (7)，(8) 應(yīng)接近零，并且 | 和 | 之間的互信息對于所有類別 也應(yīng)接近零。 和 的條件獨(dú)立性意味著 (; ) 對于每個 不依賴于 ，因?yàn)榧僭O(shè) | ～ ((; ), ?)。因此，如圖 1(b) 的底部所示，當(dāng) 較大時，特定標(biāo)簽的潛在混合成分無法捕捉屬于相應(yīng)標(biāo)簽的觀測的復(fù)雜模式（見圖 2）。

4.1.3. 定制插值

圖 3 顯示了從先驗(yàn)結(jié)構(gòu)上的插值重建的兩組圖像。潛在變量 A 和 B 分別從標(biāo)簽 0 和 1 的混合成分中采樣。假設(shè)從點(diǎn) A 到 B 的插值路徑產(chǎn)生帶有標(biāo)簽 0 和 1 的插值圖像。然而，圖 3 的左側(cè)面板顯示了在插值路徑中間的標(biāo)簽既不是 0 也不是 1 的重建圖像。這意味著在用 Parted-VAE [5] 訓(xùn)練之前，插值路徑是不可預(yù)測的。然而，由于我們的潛在空間可以手動設(shè)計(jì)，我們的模型插值路徑僅由帶有標(biāo)簽 0 和 1 的插值圖像組成（見圖 3 的右側(cè)面板）。

此外，我們可以通過控制混合成分之間的接近度來預(yù)先確定插值路徑和插值的分辨率（見下一小節(jié)）。

4.1.4. 控制接近度

我們研究了根據(jù)先驗(yàn)混合成分接近度的各種預(yù)設(shè)計(jì)，插值圖像的模式。我們使用僅帶有 0 和 1 標(biāo)簽的 MNIST 數(shù)據(jù)集子集，因此使用 2 成分高斯混合分布。所有高斯成分都具有對角協(xié)方差矩陣；它們的對角元素均為 4。我們將位置參數(shù)設(shè)置為 (?, 0), (, 0)，這決定了接近度。我們將兩個位置參數(shù)之間的距離設(shè)置為 8、16、24 和 32。圖像從 2 維潛在空間上從 (?10, 0) 到 (10, 0) 的等間距線段的 11 個點(diǎn)生成。圖 4 顯示，如果 () 的兩個位置參數(shù)彼此相距較遠(yuǎn)，插值圖像的變化會更慢，潛在空間有效地適應(yīng)了預(yù)設(shè)計(jì)的特征。

4.2. SVHN 和 CIFAR-10 數(shù)據(jù)集

我們將我們的 VAE 模型應(yīng)用于 SVHN [24] 和 CIFAR-10 [25] 數(shù)據(jù)集，這些圖像有十個標(biāo)簽。對于 SVHN 數(shù)據(jù)集，我們僅使用官方訓(xùn)練集中的 73,257 張圖像，并使用每類 100 張標(biāo)記圖像評估我們的模型。對于 CIFAR-10 數(shù)據(jù)集，使用每類 400 張標(biāo)記圖像和 46,000 張未標(biāo)記圖像。對于這兩個數(shù)據(jù)集，圖像的所有值都被縮放到 (?1, 1) 的范圍內(nèi)。使用 256 維潛在空間和 10 混合高斯分布。先驗(yàn)混合分布的每個成分具有單獨(dú)的均值向量，所有成分共享相同的協(xié)方差（有關(guān)詳細(xì)的預(yù)設(shè)計(jì)先驗(yàn)、超參數(shù)和實(shí)現(xiàn)設(shè)置，請參見附錄 A.4.1）。Gumbel-Max 技巧 [22] 用于采樣離散潛在變量。編碼器、解碼器和分類器的網(wǎng)絡(luò)架構(gòu)如附錄 A.4.3 所示。

4.2.1. 比較

表 1 提供了我們提出的模型在 SVHN 和 CIFAR-10 數(shù)據(jù)集上半監(jiān)督分類性能及其圖像生成能力的全面定量比較。由于所考慮的分類模型不是生成性的，因此不適用于 Inception Score [26]。SVHN 和 CIFAR-10 數(shù)據(jù)集上的測試錯誤率表明，EXoN 結(jié)合 SCI 損失在半監(jiān)督分類中實(shí)現(xiàn)了有競爭力的性能。雖然 EXoN 在 CIFAR-10 數(shù)據(jù)集上可能沒有達(dá)到最高的 Inception Score，但我們的模型在恢復(fù)和插值性能方面優(yōu)于其他模型，如圖 5 和圖 2 所示（有關(guān)我們模型生成的其他圖像，請參見附錄 A.3.3）。

4.2.2. 活躍的潛在子空間

5. 結(jié)論和局限性

在這項(xiàng)研究中，我們提出了一種使用給定標(biāo)簽數(shù)據(jù)定制VAE模型潛在空間的通用方法。以往的研究，如半監(jiān)督VAE、遷移學(xué)習(xí)和零樣本學(xué)習(xí)，僅在表面上通過結(jié)構(gòu)損失函數(shù)描述了潛在空間的定制。相比之下，本文解釋了所提出的方法是如何通過調(diào)整混合模型中KL散度的局部近似性能來構(gòu)建潛在空間的。特別是，VAE中先驗(yàn)分布的多模態(tài)特性在有意義地解釋潛在空間中發(fā)揮了重要作用。

同時，通過從潛在變量進(jìn)行圖像插值和恢復(fù)實(shí)驗(yàn)，我們能夠確認(rèn)所提出的模型與現(xiàn)有模型相比能夠生成更加真實(shí)的圖像。特別是，能夠根據(jù)用戶偏好手動設(shè)計(jì)潛在空間的能力是其他模型所不具備的顯著優(yōu)勢。此外，從我們的模型中獲得的理論結(jié)果部分解釋了SCI損失的合理性，SCI損失已被用來提高現(xiàn)有模型的預(yù)測能力。

我們推測，與潛在空間中的特征向量一致對齊的增強(qiáng)數(shù)據(jù)可以增強(qiáng)用于分類任務(wù)的其他VAE模型的預(yù)測性能。

然而，我們的模型并沒有提供在缺乏標(biāo)簽數(shù)據(jù)時潛在空間的可解釋構(gòu)造方法，并且在分析可以被多個因素劃分的更復(fù)雜形式的數(shù)據(jù)時仍存在局限性。解碼器中的概率分布學(xué)習(xí)以及為解釋潛在空間自動生成標(biāo)簽預(yù)計(jì)將成為未來模型擴(kuò)展的主要研究課題。

我們研究的另一個局限性在于缺乏通過視覺感知實(shí)驗(yàn)對我們一致性插值假設(shè)的經(jīng)驗(yàn)驗(yàn)證。未來的研究可以考慮進(jìn)行視覺感知研究，以提供關(guān)于我們方法中一致性插值假設(shè)的有效性和局限性的經(jīng)驗(yàn)證據(jù)。

本研究中使用的數(shù)據(jù)集可通過以下鏈接訪問：

• MNIST: https://www.tensorflow.org/datasets/catalog/mnist

• SVHN: http://ufldl.stanford.edu/housenumbers

• CIFAR-10: https://www.tensorflow.org/datasets/catalog/cifar10

此外，GitHub 倉庫 https://github.com/an-seunghwan/EXoN_official 包含了詳細(xì)代碼，用于復(fù)制本文中提出的模型和分析，使用上述數(shù)據(jù)集，并附有全面的使用說明。

https://www.sciencedirect.com/science/article/pii/S0167865523003288

https://github.com/an-seunghwan/EXoN_official