新智元報道

編輯：LRST

【新智元導讀】醫學世界模型（MeWM）是一種創新的AI系統，能夠模擬疾病演變并預測不同治療方案下的腫瘤變化。通過生成術后腫瘤圖像，可以幫助醫生在術前評估治療效果，優化治療方案，顯著提升臨床決策的準確性，為精準醫療提供了有力支持。

《黃帝內經》的這句「上醫治未病」千年智慧揭示了一個核心真理：最高明的治療在于預判疾病發展。

香港科技大學（廣州）與約翰霍普金斯大學等機構的研究團隊合作提出的首個醫學世界模型（Medical World Model，MeWM），首次讓AI具備了「預演」疾病演變的能力，通過生成式模型模擬不同治療方案下的腫瘤變化，為臨床決策提供可視化依據，將「治未病」理念落地為前沿算法。

論文鏈接：https://arxiv.org/pdf/2506.02327

代碼倉庫：https://github.com/scott-yjyang/MeWM

項目主頁：https://yijun-yang.github.io/MeWM

Hugging Face：https://huggingface.co/papers/2506.02327

該項目提出三個核心貢獻：

1. 腫瘤演變模擬器：使用3D擴散模型模擬不同治療方案下的腫瘤形態演變，在視覺圖靈測試中取得優異表現；

2. 生存風險預知：通過生存分析模型預測治療方案的患者預后生存風險，利用逆動力學推理最優治療方案，方案制定準確率大幅超越傳統多模態大模型；

3. 臨床決策閉環：構建「方案生成-模擬推演-生存評估」的自動化、可視化優化循環，通用支持癌癥介入治療規劃。

論文第一作者為楊逸君，共同作者包括計算機視覺奠基人Alan Yuille和美國工程院院士Rama Chellappa，通訊作者為朱磊和陳杰能。

什么是醫學世界模型？

MeWM 引入世界模型（WM）理念，構建「觀察–模擬–評估–優化」的閉環路徑。

模型以影像觀察為輸入，通過感知模塊生成初始狀態，進展預測模型根據不同干預生成未來狀態，生存評估結果反饋至策略模塊，生成以恢復為目標的動作，反過來影響后續觀察與模擬，形成臨床決策優化的閉環。

圖1：醫學世界模型以醫學影像為輸入，通過感知模塊構建初始病情狀態，再由疾病進展生成式模型預測在不同治療條件下的未來病情狀態。根據預期恢復情況生成的策略指導治療決策，并形成閉環反饋，通過逆向建模與生存分析不斷優化干預路徑。

在癌癥介入治療中構建「模擬-評估-優化」

MeWM在肝癌TACE治療方案探索中實現了一個由策略生成、動態模擬和風險評估構成的「過去–現在–未來」閉環機制。

策略模型（Policy Model）會在 CT 掃描和以語言為形式的治療目標的基礎上，采用VLM（如GPT-4o）生成滿足臨床規則的候選治療組合，包括多種治療藥物與栓塞材料搭配。初始階段會并行生成B個治療組合（稱為protocol beams），覆蓋不同策略空間。

隨后，動態模型（Dynamics Model）會針對每個候選方案，利用3D條件擴散模型模擬治療后腫瘤形態，逐步構建方案執行軌跡，生成的每一組術后腫瘤候選將交由啟發式函數評估。

逆動態模型（Inverse Dynamics Model）在每一步中對所有候選腫瘤圖像進行生存風險的打分，基于啟發式函數輸出風險值，并動態替換掉風險最高的beam方案，從而實現低風險方案的優先保留與高風險方案的迭代優化。

最終，整個探索過程中選出的風險最低組合被作為推薦方案輸出，實現了從個體影像出發、結合多步生成與評估的個性化治療策略搜索流程。

圖2: MeWM系統基于術前CT，結合治療目標生成多組TACE組合，涵蓋不同化療藥物與栓塞材料。每組方案通過生成模型預測術后腫瘤反應，并由生存評估模塊計算風險得分，最終篩選出最優干預路徑。流程支持在真實肝癌場景下實現個體化、數據驅動的治療決策

動作驅動的生成模型訓練流程

MeWM創新性地將「治療行為」作為條件控制生成，模擬不同組合下腫瘤的真實演化反應：

1. 從放療記錄提取結構化治療動作；

2. 將術前影像與動作融合輸入3D擴散模型，生成術后圖像；

3. 通過對比學習提升組合間的區分度與生成的一致性。

在醫生圖靈測試中，MeWM合成圖像被誤判為真實圖像的比例最高，specificity高達79%，遠超現有方法。結構保真性評估指標（FID/LPIPS）亦領先。

圖3:腫瘤生成式模型包含三個關鍵環節：(a) 放療報告解析與動作生成：由 GPT-4o 與 Deepseek-R1 提取藥物與栓塞材料信息，構建治療組合；(b) 術后腫瘤生成：將動作嵌入與術前 CT 融合輸入擴散模型，生成術后腫瘤圖像；(c) 組合對比學習（CCL）：通過拉近相似方案、區分不同方案，提升模型生成效果的真實度與動作一致性。

MeWM如何刷新治療規劃性能

為了全面驗證MeWM在治療決策優化任務中的有效性，研究團隊分別在私有和公開數據集上進行了系統性實驗。

實驗首先通過視覺圖靈測試驗證了生成式模型模擬預后腫瘤形態的真實性，而后分析了生存分析模型根據術前術后圖像預測生存風險的準確性。

最后檢驗了機制在TACE治療方案篩選上的準確性，對比了多個多模態大模型，并表明各模塊的有效性。

核心結果

術后腫瘤生成效果

在真實性評估中，MeWM經受了由三位放射科醫生參與的「圖靈測試」。研究共準備了240份CT圖像，其中120例為真實術后圖像，另外120例由不同模型合成。

醫生需在不知情的情況下判斷每張圖像是真實還是合成，依據是圖像中是否存在典型術后特征，如碘油沉積、壞死區與殘留活組織的混合表現。

結果顯示，三位醫生在識別真實圖像方面表現穩定，但在識別合成圖像方面差異顯著：MeWM 所生成圖像被誤判為真實的比例最高，specificity分別為79%、71%和75%，遠優于其他方法，說明其合成結果在外觀上最接近真實術后腫瘤。

同時，MeWM在生成質量指標上也表現優異，FID和LPIPS均為所有方法中最低，進一步證明了生成的腫瘤圖像在結構細節與視覺真實度上的領先水平。

可靠的啟發式函數

在生存風險評估中，MeWM的啟發式模型相較傳統Cox比例風險模型展現出更高的準確性。

基于公開數據集，實驗發現Cox模型難以區分高低風險樣本，預測結果過于平滑，MSE為0.3550；而 MeWM模型更貼近真實分布，MSE降至0.2142

進一步的Kaplan-Meier分析顯示，MeWM的風險分層能力更強，C-Index提高至 0.752，顯著優于影像組學特征驅動的Cox模型。

結果表明，MeWM能有效捕捉術前與術后影像中的風險變化，為治療效果評估提供更可靠的支持。

革命性的臨床輔助決策能力

在TACE治療方案探索任務中，MeWM 展現出顯著的性能優勢。

在私有數據集上，其F1-score達到52.38%，較GPT-4o、Claude-3.7和MedGPT等多模態大模型提升超過10%；在公開數據集上，F1-score達到64.08%，接近專業放射科醫生（71.43%）的水平，同時在Jaccard、Precision和Recall等關鍵指標上也全面領先多模態大模型。

不同于僅依賴視覺語言推理的模型，MeWM基于生成的術后CT進行生存分析評分，形成完整的「治療模擬—效果評估—方案篩選」閉環機制，使得模型能夠更準確地判斷不同治療組合帶來的潛在療效差異。

進一步地，將MeWM融入醫生的決策流程中，平均可帶來13%的F1-score提升，輔助醫生在術前更有效地預判治療結果并優化用藥與栓塞材料配置，其推薦結果在多個真實病例中與專家方案高度一致，體現了其在臨床輔助決策中的實際應用潛力。

結語：讓AI成為醫生的「時間旅行者」

MeWM不僅能「預測治療結果」，更能「基于未來進行當前優化」。

這不僅是生成模型在醫學領域的創新突破，更是世界模型在臨床決策中的首次落地實踐。

未來，MeWM有望成為醫生的第二讀圖者、術前規劃的智能助手，推動臨床治療從經驗驅動邁向數據驅動、模擬先行的新紀元。

Medical World Model的發布標志著世界模型在醫學領域的一次重要進展，為精準醫療的可視化、可量化、可優化研究提供了新的思路。

參考資料：

https://arxiv.org/abs/2506.02327