本論文首次探討了醫學影像生成中的公平性問題，并提出了一種基于公平貝葉斯擾動的FairDiffusion方法，同時構建了標注有多維敏感屬性的FairGenMed數據集。通過對比實驗，驗證了該方法在整體圖像質量和群體間公平性（基于ES-FID、ES-IS和ES-AUC指標）上的雙重提升效果。未來，我們將進一步擴展數據集規模，豐富敏感屬性維度，并探索更多應用場景下的公平生成策略，以推動醫學生成模型在全球醫療影像領域實現更普惠且公正的應用。

論文標題： FairDiffusion: Enhancing Equity in Latent Diffusion Models via Fair Bayesian Perturbation 論文鏈接： https://arxiv.org/abs/2412.20374 數據集和代碼鏈接： https://github.com/Harvard-Ophthalmology-AI-Lab/FairDiffusion

一、背景與挑戰

隨著人工智能在醫學影像領域的廣泛應用，文本到圖像擴散模型（如Stable Diffusion）正逐步滲透到醫學數據合成、醫學教育和數據共享中。然而，盡管生成質量整體較高，模型在不同人口統計屬性（性別、種族、族裔）上卻存在明顯差異。例如，實驗表明，Stable Diffusion在生成女性、白人及非西班牙裔樣本時圖像細節和臨床特征更為突出，而在男性、亞洲人及西班牙裔樣本上則表現欠佳。這種不均衡現象直接影響了后續臨床特征檢測、病情預測及診斷準確性，進而可能加劇醫療資源分配的不公平問題。

此外，還存在以下挑戰：

• 噪聲建模與分布不匹配問題

  擴散模型的噪聲去除假設數據服從統一分布，但真實醫學數據在不同群體間存在分布偏移，導致單一全局損失難以平衡各群體的生成質量。

• 公平性指標缺乏

  傳統指標（如FID、IS）只關注總體質量，無法揭示不同群體間的性能差異。因此，我們提出了ES-FID、ES-IS和公平AUC（ES-AUC）等新指標，用于量化群體間的公平性。

• 公平調控機制設計難題

  如何在保證整體生成質量的同時，自適應地調節各群體的損失權重，是當前技術的一大難點。為此，我們引入了公平貝葉斯擾動機制，通過針對不同群體施加自適應高斯擾動，縮小群體間的誤差差距。

二、數據集與公平性問題探討

公平性研究需要高質量且具備多維敏感屬性標注的數據。為此，我們構建了FairGenMed數據集，其主要特點如下：

• 數據來源與采集

  FairGenMed基于真實臨床SLO眼底圖像，數據采自一家大型學術眼科醫院，覆蓋2015至2022年期間的患者數據，并附帶詳細的臨床指標（如青光眼風險、杯盤比、視野缺損程度等）。

• 多維敏感屬性標注

  數據集中詳細標注了性別、種族、族裔、首選語言、婚姻狀況等敏感屬性，允許針對不同群體單獨分析，揭示模型在弱勢群體上存在的性能不足問題。

• 公平性問題的實際背景

  在醫學影像領域，不同群體由于生理差異和疾病風險的不同，在病理表現上可能存在細微區別。如果生成模型不能平衡學習這些差異，可能導致弱勢群體的影像質量不達標，增加誤診風險，進而引發倫理和社會公平問題。

• 數據集意義

  FairGenMed不僅為生成模型提供了充足且多樣化的訓練樣本，同時也為公平性指標（如ES-FID、ES-IS、ES-AUC）的設計提供了堅實的數據基礎，有助于推動醫學生成模型在公平性與實用性上的雙重提升。

三、方法與技術細節

在上述背景與數據集支持下，我們提出了FairDiffusion方法，其核心技術細節包括：

基礎擴散模型損失：標準LDM的去噪損失定義為

公平貝葉斯擾動機制：為自適應調節各群體損失貢獻，我們在損失中引入擾動因子

群體間損失差異量化為衡量批次內各群體誤差的不均衡，我們定義了平均損失差異

這一指標用于指導貝葉斯優化過程中擾動參數的更新。

貝葉斯優化與參數更新：我們將擾動參數的最優求解轉化為貝葉斯優化問題

采用上置信界（UCB）作為采集函數，并用以下規則更新參數：

這一過程實現了探索與利用的平衡，逐步縮小群體間的性能差異。

公平評價指標：除了傳統的FID和IS指標，我們設計了公平擴展指標

以及公平AUC（ES-AUC）指標，用于評估生成圖像與文本提示間的語義一致性。

四、結果

• 圖像視覺效果對比

  在新增的定性可視化圖（圖2）中，我們展示了真實SLO眼底圖像、Stable Diffusion生成的圖像與FairDiffusion生成圖像的對比。可以明顯看出，FairDiffusion生成的圖像不僅結構更為清晰，而且在紋理和細節上更接近真實圖像，尤其是在原本容易出現模糊和細節缺失的弱勢群體樣本上，優勢更為明顯。

• 整體生成性能提升

  如下面幾張圖所示，我們在SLO眼底圖像上對比了FairDiffusion與Baseline模型（例如Stable Diffusion和Debiased Diffusion）的FID和IS指標。FairDiffusion取得了顯著更低的FID值和更高的IS值，證明了其在整體圖像生成質量上的優勢。此外，通過ES-FID和ES-IS指標，可以看到各敏感群體（性別、種族、族裔）之間的性能差距明顯縮小。例如，在白人、亞洲人和黑人群體中，FairDiffusion減少了最大誤差差距（最大-最小FID值）的幅度，確保生成圖像在各群體間更為一致。

• 非眼科數據集結果

  在HAM10000皮膚病圖像（圖6，8）和CheXpert胸部X光影像（圖6，8）上，我們同樣驗證了FairDiffusion的有效性。對于HAM10000數據集，下圖展示了FairDiffusion在不同年齡和性別組上的ES-FID和ES-IS指標均有大幅提升；而在CheXpert數據集中，無論是針對性別還是種族的細分指標，FairDiffusion均實現了FID降低和IS提升的目標。這表明我們的公平貝葉斯擾動機制在跨模態任務中均能穩定發揮作用，提升各群體的生成質量和公平性。

• 語義一致性與臨床相關性

  我們還設計了分類任務，對生成圖像與文本提示之間的語義相關性進行評估。通過公平AUC（ES-AUC）指標（圖7），可以觀察到FairDiffusion生成的圖像與臨床特征描述具有更高的一致性，特別是在青光眼和杯盤比的分類任務中，弱勢群體的AUC值均有明顯提升。這一結果進一步證明了方法在提升醫學語義相關性方面的有效性。

五、總結與展望

本論文首次探討了醫學影像生成中的公平性問題，并提出了基于公平貝葉斯擾動的FairDiffusion方法，并構建了具備多維敏感屬性標注的FairGenMed數據集。通過對比實驗，我們證明了該方法在整體圖像質量和各群體間公平性（通過ES-FID、ES-IS和ES-AUC指標）的雙重提升效果。未來，我們將進一步擴充數據集規模、豐富敏感屬性維度，并探索更多應用場景下的公平生成策略，以推動醫學生成模型在全球醫療影像領域實現更為普惠、公正的應用。

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術流”原創投稿計劃

TechBeat是由將門創投建立的AI學習社區（

www.techbeat.net

投稿內容

// 最新技術解讀/系統性知識分享 //

// 前沿資訊解說/心得經歷講述 //

投稿須知

稿件需要為原創文章，并標明作者信息。

我們會選擇部分在深度技術解析及科研心得方向，對用戶啟發更大的文章，做原創性內容獎勵

投稿方式

發送郵件到

melodybai@thejiangmen.com

或添加工作人員微信（yellowsubbj）投稿，溝通投稿詳情；還可以關注“將門創投”公眾號，后臺回復“投稿”二字，獲得投稿說明。

關于我“門”

將門是一家以專注于數智核心科技領域的新型創投機構，也是北京市標桿型孵化器。 公司致力于通過連接技術與商業，發掘和培育具有全球影響力的科技創新企業，推動企業創新發展與產業升級。

將門成立于2015年底，創始團隊由微軟創投在中國的創始團隊原班人馬構建而成，曾為微軟優選和深度孵化了126家創新的技術型創業公司。

如果您是技術領域的初創企業，不僅想獲得投資，還希望獲得一系列持續性、有價值的投后服務，歡迎發送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈