撰文丨王聰

編輯丨王多魚

排版丨水成文

在皮膚疾病的診斷和管理方面，充分利用人工智能（AI）的潛力迫在眉睫。盡管深度學習已展現出卓越的性能，常常能與皮膚科醫生相媲美甚至超越，但目前用于皮膚科的 AI 模型仍局限于孤立的任務（例如從皮膚鏡圖像中診斷皮膚癌）。這些模型難以整合各種數據類型和成像模式，從而降低了其在不同實際臨床環境中的實用性。

皮膚科與內科一樣，本質上十分復雜，涵蓋了從常見皮膚病到危及生命的惡性腫瘤等廣泛的病癥，因此需要一種全面的、以患者為中心的方法，將各種臨床工作流程整合起來。

2025 年 6 月 6 日，澳大利亞莫納什大學戈宗元團隊（博士生燕思遠為第一作者）在Nature Medicine期刊發表了題為 ： A multimodal vision foundation model for clinical dermatology 的研究論文。

該研究開發了一種用于臨床皮膚科的多模態視覺基礎模型——PanDerm，其在 包括皮膚癌篩查、風險分層、常見和罕見皮膚疾病的鑒別診斷、病變分割、縱向監測以及轉移預測和預后在內的 28 種的基準測試中達到了最先進的性能，并在 3 向臨床測試中超越了臨床醫生——在早期黑色素瘤檢測方面優于臨床醫生、提高了臨床醫生在皮膚癌診斷中的準確性、支持非 皮膚科醫生進行 各種皮膚病鑒別診斷。

這些結果表明，PanDerm 模型在各種臨床場景中都有改善患者護理的潛力，并可作為在其他醫學專科開發多模態基礎模型的范例，有可能加快 AI 在醫療保健領域的支持整合。

歡迎進群分享/討論生物醫學領域 AI 智能體研究進展

在臨床實踐中，診斷和治療皮膚疾病涉及一系列任務，包括全身皮膚癌檢測和風險評估、對諸如炎癥性皮膚病和色素性病變等數百種皮膚科疾病的鑒別診斷、多模式圖像分析、病理學解讀、監測病變變化以及預測結果。目前，缺乏能夠支持這些不同工作流程的集成式 AI 解決方案，這阻礙了 AI 在皮膚科的實際應用效果。基礎模型的最新進展已成為應對這一挑戰的一個有前景的方向。

基礎模型是通過在海量、多樣的數據上使用自監督學習技術進行預訓練的大規模神經網絡，通常利用弱標注或未標注的數據。這些模型基于豐富的知識表示構建而成，在眼科、放射科和病理學等醫學領域展現出了令人矚目的性能。通過在大量且多樣化的數據上進行全面的預訓練，這些模型形成了多用途的表征，能夠有效地適應各種臨床場景，在下游任務中超越了以往的深度學習模型。它們強大的特征表示能力還使得應用能夠更高效地利用數據，需要的標注樣本更少，這對于專家標注數據往往有限的醫療領域來說尤為重要。

然而，為皮膚病學開發有效的基礎模型面臨著獨特的挑戰。基礎模型的性能本質上與其參數規模和訓練數據規模相關聯。在通用計算機視覺領域，基礎模型是在諸如 ImageNet 或 JFT-300M 這樣的大規模數據集上進行預訓練的，而大多數現有的皮膚科 AI 模型仍依賴這些模型進行下游任務的適配。一些研究工作專門針對皮膚科的自監督學習，利用公共數據集或網絡來源的皮膚圖像展開。然而，這些方法常常受到數據集規模、多樣性或缺乏真實患者數據的限制。此外，盡管近期醫學基礎模型在多個專科領域展現出了前景，但它們仍無法完全滿足皮膚病學的獨特需求。特定專業的基礎模型通常專注于單一的成像模式，而通用的生物醫學模型盡管涵蓋范圍廣泛，但在處理特定領域的數據稀缺以及整合異質性模式以進行全面臨床分析方面存在困難。

在這項最新研究中，研究團隊開發了一種通用的、多模態皮膚科基礎模型——PanDerm。PanDerm 系統經過獨特設計，能夠整合多種成像模式，它基于來自多個國家 11 家機構的超過 200 萬張圖像進行了預訓練，涵蓋了 4 種成像模式（三維全身攝影分塊圖像、臨床圖像、皮膚鏡圖像、皮膚病理切片），涉及多種皮膚科疾病。在預訓練階段，PanDerm 采用掩碼潛在建模和對比語言-圖像預訓練（CLIP）特征對齊進行自監督學習，與現有的自監督算法相比，展現出更出色的數據可擴展性和訓練效率。該模型實現了全身皮膚影像檢查（TBP）以及臨床、皮膚鏡和皮膚病理學圖像的統一表示學習，從而能夠在各種臨床工作流程中對患者進行全面分析。

具體來說，PanDerm 是一個通過自監督學習在來自 11 家臨床機構的涉及 4 種成像模式的 200 多萬張真實世界皮膚疾病圖像上進行預訓練的多模態皮膚科基礎模型。

研究團隊在 28 個不同的基準測試中對 PanDerm 進行了評估，包括皮膚癌篩查、風險分層、常見和罕見皮膚疾病的鑒別診斷、病變分割、縱向監測以及轉移預測和預后。PanDerm 在所有評估任務中均達到了最先進的性能，通常在僅使用 10% 的標注數據時就超過了現有的模型。

研究團隊進一步評估了 PanDerm 模型的潛在臨床效用。通過縱向分析，PanDerm 模型在早期黑色素瘤檢測中的表現比臨床醫生高出 10.2%；在皮膚鏡圖像分析中使臨床醫生的皮膚癌診斷準確率提升 11%；針對臨床照片中 128 種皮膚病癥的鑒別診斷，該模型使非皮膚科醫生醫療人員的診斷準確率提升 16.5%。

這些結果表明，PanDerm 模型在各種臨床場景中都有改善患者護理的潛力，并可作為在其他醫學專科開發多模態基礎模型的范例，有可能加快 AI 在醫療保健領域的支持整合。

論文鏈接：

https://www.nature.com/articles/s41591-025-03747-y