MICROCANONICAL LANGEVIN ENSEMBLES:ADVANCING THE SAMPLING OF BAYESIANNEURAL NETWORKS

微觀正則朗之萬集成：推進貝葉斯神經網絡的采樣方法

https://arxiv.org/pdf/2502.06335

摘要

盡管最近取得了一些進展，對于貝葉斯神經網絡（BNNs）而言，基于采樣的推理仍然是概率深度學習中的一個重大挑戰。雖然基于采樣的方法不需要假設變分分布，但當前最先進的采樣器仍然難以應對BNN后驗分布的復雜性和高度多模態特性。因此，即使在小型神經網絡上，基于采樣的推理所需的時間仍然明顯長于非貝葉斯方法，盡管近年來軟件實現效率已有提升。除了難以找到高概率區域的問題之外，采樣器需要多長時間才能充分探索這些區域仍然不可預測。

為了解決這些挑戰，我們提出了一種集成方法，結合了優化中的策略和一種新提出的采樣器——微觀正則朗之萬蒙特卡洛（Microcanonical Langevin Monte Carlo, MCLMC），以實現對BNN高效、穩健且可預測的采樣性能。與基于當前最先進“不轉向采樣器”（No-U-Turn Sampler, NUTS）的方法相比，我們的方法實現了高達一個數量級的速度提升，同時保持甚至提升了在多種任務和數據模態下的預測性能和不確定性量化能力。所提出的微觀正則朗之萬集成方法（Microcanonical Langevin Ensembles）以及對MCLMC的改進進一步增強了方法在資源需求方面的可預測性，使并行化更加容易。總體而言，該方法為貝葉斯神經網絡的實際、可擴展推理提供了一個有前景的方向。

1 引言與相關文獻

基于采樣的貝葉斯神經網絡（BNNs）推理方法作為一種有理論依據的方式，受到了廣泛關注，用于解決概率深度學習中解析不可行的問題（Izmailov 等，2021；Wiese 等，2023；Papamarkou 等，2024）。一些新方法，如子空間推理（subspace inference；Izmailov 等，2020；Dold 等，2024），正在被探索，并在需要有效不確定性量化的多個領域中得到應用，包括醫療健康（Peng 等，2020）和物理學（Cranmer 等，2021）。Papamarkou 等（2022）以及 Sommer 等（2024）指出了當前基于采樣的方法中存在的若干缺陷，特別是采樣過程需要恰當的初始化以及難以捕捉多模態分布的問題。

采樣器與問題設定： 哈密頓蒙特卡洛（HMC；Duane 等，1987）和欠阻尼朗之萬蒙特卡洛（Underdamped Langevin Monte Carlo；Leimkuhler & Reich，2009）是高維采樣問題的黃金標準算法。然而，它們的性能已知對超參數非常敏感，例如步長、預處理（preconditioning）以及動量退相干率（momentum decoherence rate）（Neal，2011）。因此，通常會結合自動超參數自適應算法使用。近年來發展出了一些基于集成（ensemble-based）的方案（Sountsov & Hoffman，2022；Hoffman & Sountsov，2022；Riou-Durand 等，2023），但這些方案都嚴重依賴于參數的集成方差來調整關鍵的動量退相干率超參數，在某些情況下還包括（預處理后的）步長。因此，它們并不適用于 BNN 的高度多模態后驗分布。

在無梯度采樣方面，也開發了多種集成算法，例如預處理蒙特卡洛（pocoMC；Karamanis 等，2022a;b）、嵌套采樣（Nested Sampling；Skilling，2004）和橢圓切片采樣（Elliptical Slice Sampling；Murray 等，2010）。這些算法能夠應對多模態問題；然而，它們在高維設置下擴展性較差。例如，橢圓切片采樣經常用于 BNNs（Izmailov 等，2020；Dold 等，2024），用于在參數空間的一個小的子空間（例如 2 維或 3 維）中進行采樣，但無法擴展到更大的維度。雖然存在其他用于多模態采樣的替代方法，但它們也不適合高維且高度多模態的 BNN 設置。例如，像 Grenioux 等（2024）提出的隨機定位方法可以處理中等程度的多模態，但對超參數（如隨機定位中的積分初始化 t0）敏感，且缺乏可擴展性。同樣，Liouville Flow Importance Sampler（Tian 等，2024）提供了無偏采樣，但需要訓練一個神經流模型，而隨著問題維度和復雜性的增加，這個模型也需要變得越來越復雜，從而限制了其可擴展性。Fan 等（2024）提出的一種路徑引導粒子方法中所使用的學得向量場也是如此，附錄 A.1.3 中提供了實證比較。

HMC 與 NUTS： 因此毫不奇怪，一種序列 HMC 變體——不轉向采樣器（NUTS；Hoffman & Gelman，2014）仍被視為“唯一一種理論上可在廣泛模型類別中擴展到高維的 MCMC 算法”（Strumbelj 等，2024）。盡管 HMC 的可擴展性允許其應用于中等大小神經網絡的完整參數空間，而其 NUTS 變體提供了幾乎無需調參的 HMC 實現方式，但它無法充分探索 BNN 后驗中存在的眾多模式（Wiese 等，2023）。最近提出的 HMC 變體 Symmetric Split HMC（Cobb & Jalaian，2021）改進了 HMC 的內存可擴展性，但也帶來了其他缺點，包括對超參數的敏感性。我們在附錄 A.1.3 中提供了實證比較和進一步討論。

標準先驗（如各向同性高斯分布）還可能導致初始化問題，即采樣器從低概率區域開始，導致收斂緩慢或陷入局部區域。為了解決這些問題，Sommer 等（2024）提出了一種貝葉斯深度集成（Bayesian Deep Ensemble, BDE），即許多經過暖啟動的馬爾可夫鏈蒙特卡洛（MCMC）鏈的集合。通過這種方法，作者提高了探索能力，并在常見基準任務上實現了最先進的預測性能和不確定性量化（UQ）性能。盡管通過并行化和高效實現，該方法比之前使用的方法快得多，但 Sommer 等（2024）仍然依賴于 NUTS。這帶來了顯著的計算負擔，使得整個方法中采樣階段的計算成本仍然占主導地位。

我們的貢獻

為了提高基于采樣的貝葉斯神經網絡（BNNs）推理的可擴展性和效率，我們識別出一種可能的、基于MCMC的替代方案：微觀正則朗之萬蒙特卡洛（Microcanonical Langevin Monte Carlo, MCLMC；Robnik 等，2023） 。在最近的實驗中，作者展示了 MCLMC 在計算上優于 NUTS，同時在下游任務指標中提供了相同質量的樣本。雖然 MCLMC 在單模態和序列采樣任務中展現出比 NUTS 更好的計算優勢，但在不做重大修改的情況下，它無法應對 BNN 所面臨的多模態性、數值不穩定性和可擴展性挑戰（例如見附錄 A.1.2）。

我們將改進后的 MCLMC 作為我們方法的核心組件，其中包括：

• 用于增強探索能力的深度集成初始化（deep ensemble initialization）

• 針對高維設置中數值穩定性的調整

• 針對關鍵瓶頸的優化措施

最終提出的方法稱為 微觀正則朗之萬集成（Microcanonical Langevin Ensemble, MILE） ，具備自動調參功能，且開箱即用時表現穩定可靠。大量實驗表明，MILE 達到了最先進的性能，同時比以往的基于采樣的方法快達一個數量級。

2 背景

2.1 蒙特卡洛采樣

在基于采樣的推理框架下，我們使用從后驗分布（密度為 p(θ∣D)）中抽取的樣本，來估計式（1）中解析不可行的積分。這些樣本是通過馬爾可夫鏈蒙特卡洛（Markov chain Monte Carlo, MCMC）方法獲得的，這類方法構造一個馬爾可夫鏈，使其平穩分布為后驗分布或接近后驗分布。

誤差分析與 Metropolis-Hastings 調整： 這種近似的誤差由三項組成：初始化誤差、離散化誤差和蒙特卡洛誤差。初始化誤差是一種瞬態效應，由馬爾可夫鏈的初始分布尚未達到平穩分布（即預熱階段，burn-in phase）所引起。蒙特卡洛誤差是由有限的樣本數量 S 和鏈的數量 K 所導致的方差。離散化誤差則是由于在數值模擬采樣器動力學時使用了有限步長而引起的。這會導致后驗分布 p(θ∣D) 不再是馬爾可夫鏈的平穩分布。

通常采用 Metropolis-Hastings（MH） 方法來完全消除離散化誤差，但這會帶來需要使用更小步長的代價。這是因為接受率（acceptance rate）依賴于能量誤差平方的指數函數，而能量誤差隨著維度線性增長。因此，為了保持固定的接受率，當參數數量增加時，必須減小步長，從而導致采樣器在高維空間中移動得更慢。

此外，如果馬爾可夫鏈的初始分布與平穩分布相差較大，MH 算法容易出現接受率退化的問題，進而導致收斂速度變慢和較大的初始化誤差（Durmus & Eberle，2023）。另一方面，如果不使用 Metropolis 調整，則離散化誤差將強烈依賴于步長。因此，只要稍微減小步長，就可以使離散化誤差相對于初始化誤差和蒙特卡洛誤差變得可以忽略。

基于上述考慮，我們在方法中選擇省略 MH 調整，而是依靠謹慎的初始化和步長調優來控制各項誤差。

2.2 微觀正則朗之萬蒙特卡洛（Microcanonical Langevin Monte Carlo）

在貝葉斯神經網絡（BNN）研究領域之外，最近提出了一種新的采樣方法：微觀正則朗之萬蒙特卡洛（Microcanonical Langevin Monte Carlo, MCLMC） 。MCLMC 采樣器的時間演化（Robnik & Seljak，2024）由以下隨機微分方程控制：

其中 W 是維納過程（Wiener process），η 是一個自由參數，等價于動量退相干之前在參數空間中行進的典型長度，通常用 L 表示。Robnik & Seljak（2024）使用漂移-擴散離散化方法來數值求解方程（3）。其中的漂移部分 （即不包含最后一項隨機項的方程（3））通過最小范數積分器（Takaishi & de Forcrand，2006；Omelyan & Kovalenko，2013）進行求解。

在步長 ? 趨于零的極限下，所得到的馬爾可夫鏈具有后驗分布 p(θ∣D) 作為其平穩分布（Robnik & Seljak，2024）。較小的步長會減少離散化誤差，但也會增加蒙特卡洛誤差和初始化誤差，因為采樣器移動得更慢。因此，我們希望將步長減小到使離散化誤差小于其他兩個誤差來源的程度，但不要過小。

Robnik 等（2023）提出使用每維度能量誤差方差（EEVPD） 來衡量離散化誤差，并表明可以通過控制 EEVPD 來控制離散化誤差。類似于在 Metropolis 調整算法中調整步長以匹配某個目標接受率的做法，在非調整算法中也可以通過調整步長來匹配期望的 EEVPD。這種帶有偏差控制的、非精確但高效的策略，也是我們在本工作中所采用的方法。

需要注意的是，平穩分布與自由參數 η 無關，特別是即使在確定性動力學（即 η=0）的情況下也成立。這在 HMC 中并不成立，因為在 HMC 中，動量重采樣對于維持所需的平穩分布至關重要。MCLMC 更具確定性的特性使其在探索階段 （exploitation phase）能夠更快地收斂。

盡管如此，參數 η 仍然很重要，因為它控制著動量退相干的速度，并迫使動力系統向參數空間中未被探索的部分移動。Robnik 等（2023）發現，當 L/? 的數量級接近鏈的自相關時間時，可以取得良好的性能表現。由于自相關時間的評估成本較高，他們還建議通過計算參數的方差，將 L 設置為后驗模態的大小。

基于這些考慮，他們提出了一個三階段調參方案，我們現在將其稱為三個階段：

1. 第一階段（Phase I）

   ：調整步長以匹配目標 EEVPD，并完成預熱（burn-in）過程。

2. 第二階段（Phase II）

   ：估計參數方差，以獲得對 L 的初步估計。

3. 第三階段（Phase III）

   ：估計自相關時間，以進一步優化 L 的估計值。

3 微觀正則朗之萬集成（Microcanonical Langevin Ensembles）

為了將 MCLMC 嵌入一個穩健的采樣流程 （見圖1），使其在 BNN 中有效工作并利用集成的思想，我們將在下文中討論優化技術與采樣的結合，以及對 MCLMC 所需的各種修改。如果沒有這些改進，MCLMC 在探索能力方面會遇到困難，并表現出較高的失敗率，尤其是在高維設置中（參見附錄 A.1.2）。

3.1 利用集成減少初始化誤差

如第 2.1 節所述，預測后驗近似中的誤差可以分解為三個部分。雖然第 2.1 節將初始化誤差描述為一種“瞬態效應”，但不應因此誤認為它不重要；在 BNN 應用中，特別需要重視這一誤差的處理。與大多數其他采樣器一樣，MCLMC 很有可能陷入 BNN 高維且高度復雜的后驗分布中的低概率區域。因此，我們提出的解決方案是將采樣與優化步驟相結合 （圖1中藍色部分）。

為了防止采樣階段的鏈被初始化到這些不利區域，我們運行 K 次優化步驟，為每個 k∈[K] 的鏈獲得起始值 θ?(k)。作為副產品，我們得到了一個包含 K 個成員的深度集成（Deep Ensemble, DE；Lakshminarayanan 等，2017） 。與 Sommer 等（2024）的研究一致，我們發現使用經過優化的神經網絡作為初始值可以顯著減少該誤差，并防止采樣器陷入局部區域。

3.2 調參階段的改進

在上一小節中，我們提出通過運行一組 MCLMC 鏈來優化使用 MCLMC 時的起始值。然而，僅對每條鏈的初始值進行優化還不足以使 MCLMC 在 BNN 中數值穩定且高效地工作（參見附錄 A.1.2）。因此，我們討論將 MCLMC 應用于 BNN 時需要進一步調整的三個調參階段組件，并提出了與尺度相關 的對 MCLMC 第三階段的修改。

步長（Step size）

Robnik 等（2023）建議將步長 ? 初始化為 d （其中 d 是參數維度）。雖然這一默認設置在他們的應用中表現良好，但對于相對較小的神經網絡來說，這個值已經過大。過大的步長會導致能量發生顯著變化，從而引入嚴重的數值問題。由于 MILE 的鏈已經從高概率區域初始化，因此明顯減小 ? 是合理的。在實踐中，這意味著我們可以將步長設置為 MILE 優化階段中優化器所使用的學習率 。除了減少初始的離散化誤差外，這種做法還能確保在預熱階段早期以及接近優化解的位置進行更局部化的探索，同時隨著調參過程的推進允許更大的步長（這一點也可以通過實驗證實）。

能量方差調度器（Energy variance scheduler）

MILE 第一階段的另一個調參參數是能量方差調度器 ，它控制著“探索”與“開發”的權衡。在已經優化了 K 個起始值的前提下，MILE 不需要過多的開發階段，而每個 MCLMC 鏈應更專注于“開發”。與 Robnik 等（2023）提出的固定目標能量方差策略不同，我們采用一個線性調度器 ：從較高的目標能量方差開始，并逐步降低。這樣做可以在預熱階段初期促進更具噪聲的探索，在后期則加強開發能力。

在集成中的多個鏈上并行執行此操作后，我們的方法類似于 SG-MCMC 采樣中流行的“循環學習率”策略（Zhang 等，2020）。但與經歷多個探索-開發階段不同的是，我們為每條鏈只執行一次探索-開發周期，并將這一策略進行并行化。

有效樣本量（Effective sample size） MCLMC 還需要在 EEVPD（每維度能量誤差方差）估計階段設定所需的 有效樣本量 （ESS）水平。雖然這一水平通常由實踐者和可用計算資源決定，一個可行的選擇是將 ESS 設為總后驗樣本數的 10%。由于之前基于 NUTS 的方法也報告了約 10% 的 ESS 比例，因此這一數值可以保證與 NUTS 相當的樣本質量。 第三階段瓶頸（Phase III bottleneck）

當將 MCLMC 調參算法擴展到更高維度時，第三階段存在一個計算瓶頸，即估計經驗有效樣本量（ESS），這一過程是通過快速傅里葉變換 （FFT，Bracewell & Bracewell，1986）完成的。FFT 是對所有樣本中的每個參數分別進行計算的。盡管高效的實現方式在時間復雜度上可以達到 O(SlogS)，但在維度和樣本數量增加的情況下，這仍然會顯著影響運行時間。因此，我們建議在維度 d>2000時對參數進行子采樣 （subsample），從而線性地減少運行時間。我們還建議對樣本進行稀釋處理（thinning），使得用于 FFT 計算的樣本數量上限為 。

3.3 有效的計算資源分配（Effective Computational Budget Allocation）

由有限樣本數和鏈數引起的第三種誤差是蒙特卡洛誤差 。與 NUTS 不同，NUTS 對每次提議使用不同數量的蛙跳步長（leapfrog steps），并且每一步都需要一次梯度計算，而 MCLMC 使用一種確定性的方法，由于采用了最小范數積分器，每個樣本需要兩次梯度計算。這種結構使得 MCLMC 的計算需求更加可預測，帶來了顯著的實際優勢。

相比之下，NUTS 所執行的步數在任務內部和任務之間都可能表現出較大的差異，導致實踐中通常會為蛙跳步數設置一個上限。借助更可預見的計算需求，我們可以在給定計算預算的前提下，優化 MILE 中鏈的數量與樣本數量之間的平衡，以最小化蒙特卡洛誤差。

正如最近的研究所示，在簡單問題中，MCLMC 在獲取有效樣本方面可以遠比 NUTS 高效。因此，我們建議從每條鏈中采集相對較少的樣本，從而限制 MCLMC 在探索單個局部模態上所消耗的計算資源，并依賴深度集成（DE）來進行全局探索。

預熱階段（Warmup stage）

不建議直接從 DE 優化后的點開始采樣鏈，因為這些模態并不與所謂的“典型集合”（typical sets；Betancourt, 2018）重合。我們建議為 MILE 的預熱階段分配 40,000 步 ，即 80,000 次梯度計算 。相比于在 BNN 任務中通常需要超過 90,000 次蛙跳步/梯度計算的 NUTS，這是一個較為保守的下限。

隨后進行第二階段和第三階段，各分配 5,000 步 ，以確保對動量退相干尺度 L 進行穩健估計。

采樣階段（Sampling stage）

由于 MCLMC 樣本之間存在顯著的自相關性，我們可以通過稀釋采樣 （thinning）進一步減少內存開銷，且不會顯著降低樣本質量，只要稀釋的成本相對于整體采樣時間可以忽略，就不會增加推理時間。

在我們的設定中，在完成 50,000 步預熱后，我們建議為采樣階段分配 10,000 步 。稀釋間隔的選擇則基于內存和推理時間的限制，即后驗樣本預算。

在本研究中，我們探討了兩種場景：一種是每條鏈有 1,000 個樣本，另一種是每條鏈有 100 個樣本，分別對應稀釋間隔為 10 和 100。總體而言，我們建議每條鏈采用固定的 60,000 步預算，以提供一個可預測的采樣過程。通過適當調整稀釋策略，還可以進一步有效地管理內存和推理時間需求。

4 實驗

在本節中，我們評估將 MILE 應用于貝葉斯神經網絡（BNN）基于采樣的推理的可行性。

• 數據集與模型 ：我們復現了 Sommer 等（2024）的基準測試，并進一步將其擴展到其他數據集（Ionosphere、Income、IMDB、MNIST、F-MNIST）以及不同類型的模型（卷積神經網絡和基于注意力機制的神經網絡）。

• 方法 ：與 Sommer 等（2024）一致，我們研究了所提出的方法相較于深度集成（DE）的改進效果，同時也將其與當前最先進的基于 NUTS 采樣器的 BDE 方法進行了比較。

• 運行時間對比 ：在此基礎上，我們進行了一系列消融實驗，細致地考察了 MILE 相對于 BDE 的可擴展性表現。

• 調參與超參數 ：最后，我們驗證了 MILE 超參數的魯棒性，支持我們的觀點，即 MILE 是一種像 NUTS 一樣可自動調參、開箱即用的推理過程。

實驗設置及其實現細節見附錄 A.2。所使用的診斷方法和評估指標詳見附錄 A.3 和 A.4。

4.1 基準測試（Benchmarks）

本節的目標是展示以下三點：

1）MILE 在貝葉斯神經網絡（BNN）設置中的可行性；
2）其在預測性能（使用均方根誤差 RMSE 或準確率 Accuracy 衡量）方面的優越表現，以及在不確定性量化（UQ）方面（使用對數偽邊緣似然 LPPD 衡量）的提升；
3）其在運行時間上的改進。

4.1.1 UCI 基準測試

我們使用 Sommer 等（2024）中曾用于基于采樣的推理研究的六個 UCI 數據集，并采用具有兩個隱藏層、每層 16 個神經元的 ReLU 網絡復現他們的基準測試（詳見附錄 A.2）。我們將當前最先進的 BDE 方法和 DE 基線方法的預測準確性、不確定性量化（UQ）以及運行時間與 MILE 進行對比。MILE 的配置如第 3 節所述。

性能結果 ：表 1 展示了實驗結果，表明 MILE 在預測性能和不確定性量化方面始終能夠達到或優于其他方法，同時顯著降低了計算成本。這一點在較大的數據集上尤為明顯，例如 bikesharing（B）和 protein（P）數據集上，MILE 的采樣速度比 BDE 快近十倍。

在大多數情況下，DE 優化之后的 MCLMC 采樣階段的耗時與 DE 的擬合階段本身相當。值得注意的是，這對于基于采樣的推理方法而言是一個重大進步——它實現了與 DE 相當的時間復雜度（約為 DE 的 2 倍運行時間），同時提供了更優且更具理論依據的不確定性度量。

資源可預測性 ：如前所述，MILE 的高效性源于其更少的梯度計算次數以及可預測的運行時間。與 BDE 不同的是，在 BDE 中由于 NUTS 所采用的蛙跳步數具有高度可變性，導致其運行時間波動較大；而 MILE 使用固定的步數，因此在已知單次梯度計算成本的情況下，可以輕松預測整體運行時間。這對于像貝葉斯神經網絡后驗采樣這樣計算成本高昂的任務尤其重要。

圖 2 展示了 BDE 在生成 1000 個后驗樣本時，無論是在同一任務內部還是不同任務之間，其計算成本都存在顯著的波動。這種波動往往超過了 MILE 中整個采樣階段的預算。此外，在并行計算環境中，BDE 的性能受限于耗時最長的那條鏈，而 MILE 的確定性特性確保了在并發采樣中能夠實現完美的負載均衡（參見第 3.3 節）。

診斷分析 ：為了進行診斷并評估 MILE 和 BDE 所生成樣本的質量，我們計算了有效樣本量（ESS，Vehtari 等，2021）以及鏈間的 4 分割 cRc 指標（Sommer 等，2024）。從圖 6a 和 6b 中可以看出，MILE 在采樣質量和局部混合效率方面也優于 BDE，表現出更高的平均 ESS 和更小的 cRc 值。

4.1.2 擴展基準測試（Extended Benchmarks）

除了現有的基于采樣的推理基準之外，我們還將分析擴展到更復雜和更大規模的模型，展示了 MILE 在卷積神經網絡（CNN）、分類任務以及跨不同數據模態的序列模型中的成功應用（詳見附錄 A.2）。

我們之所以能夠推進現有基準測試的主要原因，在于使用 MILE 對這些任務進行采樣是可行的。相比之下，如果使用 NUTS 進行推理，所需時間可能長達數周。因此，我們在實驗中主要將 MILE 與 DE 基線進行比較，并在附錄中為較小的模型提供 NUTS 的結果。此外，我們還報告了單個 DE 成員和單條 MCMC 鏈的平均性能，以突出集成所帶來的額外優勢。

結果 ：表 2 中展示的結果不僅證實了 MILE 在準確性和不確定性量化（UQ）方面優于 DE 基線，還表明其在更大規模的模型和新的問題領域中也表現出性能提升，進一步驗證了 MILE 所采用的額外探索步驟帶來的積極影響。

4.2 消融實驗：模型復雜度與運行時間

UCI 基準測試清楚地展示了 MILE 相較于 BDE 在運行時間方面的優勢。為了進一步研究模型復雜度（參數數量）和數據集大小對運行時間的影響，我們進行了兩項消融實驗。

模型復雜度的擴展性分析

圖 3 展示了隨著模型復雜度增加，所需采樣時間和性能指標的變化趨勢。對于一個維度為 5,426 的情況，MILE 可在 30 分鐘內完成采樣，而 BDE 則需要數小時。更引人注目的是，MILE 不僅保持更快的速度，而且其相對于 BDE 的性能優勢隨著模型復雜度的提高而進一步擴大，這表明 MILE 在效率和高維性能方面都具有顯著優勢。

為了量化時間復雜度，我們擬合了一個線性化的冪律模型來估計采樣時間隨參數數量 d 增長的趨勢：

值得注意的是，從視覺上看，BDE 的擴展性可能比二次函數更差，但為了與 MILE 的擬合方式保持一致，我們采用了保守的二次項擬合。整體來看，這種擴展行為非常接近冪律關系，而觀察到的 n 上的二次趨勢很可能源于隨著數據集增大帶來的內存相關硬件性能下降。

4.3 消融實驗：超參數魯棒性

為了驗證我們提出的 MILE 中 MCLMC 配置確實是一種穩健且可自動調參、開箱即用的方法 ，我們進行了一系列消融實驗。具體來說，我們按照第 3 節中建議的方式改變了 MILE 的默認超參數，并考察這些變化對性能的影響。

在每一次消融實驗中，我們系統地評估方法的魯棒性，通過在合適的網格上逐一改變單個超參數來進行測試。我們不僅報告了這些超參數變化對保留測試集性能指標的影響，還記錄了采樣器關鍵參數（動量退相關尺度 L 和步長 ?）的相應調優結果。

雖然這些超參數變化對 L 和 ? 的影響也很有趣，但我們的主要關注點是找到能夠帶來穩健且良好性能表現 的參數估計值。作為對比，我們還展示了 BDE 方法和 DE 基線方法的性能。

實驗結果 結果匯總于圖 4 中。在所有測試案例中，MILE 始終表現出良好的魯棒性，對超參數的變化幾乎不敏感。主要參數 L 和 ? 的變化總體上都很小，尤其是對性能影響較大的 ? 的變化非常微小，因此并未顯著影響整體性能。

一個例外是預熱階段（warmup）的預算設置：當大幅延長預熱階段時，可以觀察到輕微的性能提升。然而，這種提升非常有限，且伴隨著運行時間的線性增長，因此額外的計算成本并不劃算。

綜上所述，這些結果支持了這樣一個結論：MILE 在本質上是無需手動調參 的。因為在所考慮的情況下，其性能不會因不同超參數而發生劇烈變化，且在默認設置下已經接近最優表現。

這種魯棒性確保了實踐者可以在無需大量調參的前提下自信地使用該方法 ，從而進一步增強了其實際應用價值。

5 討論

在本研究中，我們提出并評估了一種用于貝葉斯神經網絡后驗采樣推理的方法——微觀正則朗之萬集成（Microcanonical Langevin Ensembles, MILE）。通過改進一種新提出的 MCLMC 采樣器，并將其與通過深度集成（Deep Ensembles）獲得的初始值相結合，我們的對比分析表明，與基于 NUTS 的方法相比，MILE 在性能、樣本質量、不確定性量化（UQ）以及運行時間方面均實現了顯著提升。此外，由于 MILE 具有確定性的梯度計算次數，其資源需求更加可預測，也更易于并行化。

綜上所述，我們所提出的方法可以被視為一種可靠且高效的開箱即用方法 ，是實現采樣-based推理在通用貝葉斯神經網絡中可行化的重要一步。

本研究的范圍與局限性 盡管 MILE 在處理高維數據集時也能帶來顯著的運行時間節省，但本研究的主要目標是克服基于 NUTS 的集成方法最突出的瓶頸：其在參數數量上的不良擴展性，以及由于梯度計算次數多變且龐大而導致的資源分配不可預測的問題。由于 MCLMC 及其改進版本似乎已成功解決了這些問題，因此我們認為下一步的研究方向（在本文中未進行比較）應轉向 隨機梯度采樣器變體 （Stochastic Gradient Sampler Variants）。雖然這種轉變通常并不簡單，但它將克服當前采樣-based推理的另一個主要限制：在大規模數據集上的可擴展性問題。

此外，我們未在本研究中探索的 MILE 的另一個可能改進方向是使用替代先驗分布 ，例如 Fortuin 等（2022）中討論的那些先驗。

原文鏈接：https://arxiv.org/pdf/2502.063