新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】醫(yī)學(xué)世界模型（MeWM）是一種創(chuàng)新的AI系統(tǒng)，能夠模擬疾病演變并預(yù)測(cè)不同治療方案下的腫瘤變化。通過(guò)生成術(shù)后腫瘤圖像，可以幫助醫(yī)生在術(shù)前評(píng)估治療效果，優(yōu)化治療方案，顯著提升臨床決策的準(zhǔn)確性，為精準(zhǔn)醫(yī)療提供了有力支持。

《黃帝內(nèi)經(jīng)》的這句「上醫(yī)治未病」千年智慧揭示了一個(gè)核心真理：最高明的治療在于預(yù)判疾病發(fā)展。

香港科技大學(xué)（廣州）與約翰霍普金斯大學(xué)等機(jī)構(gòu)的研究團(tuán)隊(duì)合作提出的首個(gè)醫(yī)學(xué)世界模型（Medical World Model，MeWM），首次讓AI具備了「預(yù)演」疾病演變的能力，通過(guò)生成式模型模擬不同治療方案下的腫瘤變化，為臨床決策提供可視化依據(jù)，將「治未病」理念落地為前沿算法。

論文鏈接：https://arxiv.org/pdf/2506.02327

代碼倉(cāng)庫(kù)：https://github.com/scott-yjyang/MeWM

項(xiàng)目主頁(yè)：https://yijun-yang.github.io/MeWM

Hugging Face：https://huggingface.co/papers/2506.02327

該項(xiàng)目提出三個(gè)核心貢獻(xiàn)：

1. 腫瘤演變模擬器：使用3D擴(kuò)散模型模擬不同治療方案下的腫瘤形態(tài)演變，在視覺(jué)圖靈測(cè)試中取得優(yōu)異表現(xiàn)；

2. 生存風(fēng)險(xiǎn)預(yù)知：通過(guò)生存分析模型預(yù)測(cè)治療方案的患者預(yù)后生存風(fēng)險(xiǎn)，利用逆動(dòng)力學(xué)推理最優(yōu)治療方案，方案制定準(zhǔn)確率大幅超越傳統(tǒng)多模態(tài)大模型；

3. 臨床決策閉環(huán)：構(gòu)建「方案生成-模擬推演-生存評(píng)估」的自動(dòng)化、可視化優(yōu)化循環(huán)，通用支持癌癥介入治療規(guī)劃。

論文第一作者為楊逸君，共同作者包括計(jì)算機(jī)視覺(jué)奠基人Alan Yuille和美國(guó)工程院院士Rama Chellappa，通訊作者為朱磊和陳杰能。

什么是醫(yī)學(xué)世界模型？

MeWM 引入世界模型（WM）理念，構(gòu)建「觀(guān)察–模擬–評(píng)估–優(yōu)化」的閉環(huán)路徑。

模型以影像觀(guān)察為輸入，通過(guò)感知模塊生成初始狀態(tài)，進(jìn)展預(yù)測(cè)模型根據(jù)不同干預(yù)生成未來(lái)狀態(tài)，生存評(píng)估結(jié)果反饋至策略模塊，生成以恢復(fù)為目標(biāo)的動(dòng)作，反過(guò)來(lái)影響后續(xù)觀(guān)察與模擬，形成臨床決策優(yōu)化的閉環(huán)。

圖1：醫(yī)學(xué)世界模型以醫(yī)學(xué)影像為輸入，通過(guò)感知模塊構(gòu)建初始病情狀態(tài)，再由疾病進(jìn)展生成式模型預(yù)測(cè)在不同治療條件下的未來(lái)病情狀態(tài)。根據(jù)預(yù)期恢復(fù)情況生成的策略指導(dǎo)治療決策，并形成閉環(huán)反饋，通過(guò)逆向建模與生存分析不斷優(yōu)化干預(yù)路徑。

在癌癥介入治療中構(gòu)建「模擬-評(píng)估-優(yōu)化」

MeWM在肝癌TACE治療方案探索中實(shí)現(xiàn)了一個(gè)由策略生成、動(dòng)態(tài)模擬和風(fēng)險(xiǎn)評(píng)估構(gòu)成的「過(guò)去–現(xiàn)在–未來(lái)」閉環(huán)機(jī)制。

策略模型（Policy Model）會(huì)在 CT 掃描和以語(yǔ)言為形式的治療目標(biāo)的基礎(chǔ)上，采用VLM（如GPT-4o）生成滿(mǎn)足臨床規(guī)則的候選治療組合，包括多種治療藥物與栓塞材料搭配。初始階段會(huì)并行生成B個(gè)治療組合（稱(chēng)為protocol beams），覆蓋不同策略空間。

隨后，動(dòng)態(tài)模型（Dynamics Model）會(huì)針對(duì)每個(gè)候選方案，利用3D條件擴(kuò)散模型模擬治療后腫瘤形態(tài)，逐步構(gòu)建方案執(zhí)行軌跡，生成的每一組術(shù)后腫瘤候選將交由啟發(fā)式函數(shù)評(píng)估。

逆動(dòng)態(tài)模型（Inverse Dynamics Model）在每一步中對(duì)所有候選腫瘤圖像進(jìn)行生存風(fēng)險(xiǎn)的打分，基于啟發(fā)式函數(shù)輸出風(fēng)險(xiǎn)值，并動(dòng)態(tài)替換掉風(fēng)險(xiǎn)最高的beam方案，從而實(shí)現(xiàn)低風(fēng)險(xiǎn)方案的優(yōu)先保留與高風(fēng)險(xiǎn)方案的迭代優(yōu)化。

最終，整個(gè)探索過(guò)程中選出的風(fēng)險(xiǎn)最低組合被作為推薦方案輸出，實(shí)現(xiàn)了從個(gè)體影像出發(fā)、結(jié)合多步生成與評(píng)估的個(gè)性化治療策略搜索流程。

圖2: MeWM系統(tǒng)基于術(shù)前CT，結(jié)合治療目標(biāo)生成多組TACE組合，涵蓋不同化療藥物與栓塞材料。每組方案通過(guò)生成模型預(yù)測(cè)術(shù)后腫瘤反應(yīng)，并由生存評(píng)估模塊計(jì)算風(fēng)險(xiǎn)得分，最終篩選出最優(yōu)干預(yù)路徑。流程支持在真實(shí)肝癌場(chǎng)景下實(shí)現(xiàn)個(gè)體化、數(shù)據(jù)驅(qū)動(dòng)的治療決策

動(dòng)作驅(qū)動(dòng)的生成模型訓(xùn)練流程

MeWM創(chuàng)新性地將「治療行為」作為條件控制生成，模擬不同組合下腫瘤的真實(shí)演化反應(yīng)：

1. 從放療記錄提取結(jié)構(gòu)化治療動(dòng)作；

2. 將術(shù)前影像與動(dòng)作融合輸入3D擴(kuò)散模型，生成術(shù)后圖像；

3. 通過(guò)對(duì)比學(xué)習(xí)提升組合間的區(qū)分度與生成的一致性。

在醫(yī)生圖靈測(cè)試中，MeWM合成圖像被誤判為真實(shí)圖像的比例最高，specificity高達(dá)79%，遠(yuǎn)超現(xiàn)有方法。結(jié)構(gòu)保真性評(píng)估指標(biāo)（FID/LPIPS）亦領(lǐng)先。

圖3:腫瘤生成式模型包含三個(gè)關(guān)鍵環(huán)節(jié)：(a) 放療報(bào)告解析與動(dòng)作生成：由 GPT-4o 與 Deepseek-R1 提取藥物與栓塞材料信息，構(gòu)建治療組合；(b) 術(shù)后腫瘤生成：將動(dòng)作嵌入與術(shù)前 CT 融合輸入擴(kuò)散模型，生成術(shù)后腫瘤圖像；(c) 組合對(duì)比學(xué)習(xí)（CCL）：通過(guò)拉近相似方案、區(qū)分不同方案，提升模型生成效果的真實(shí)度與動(dòng)作一致性。

MeWM如何刷新治療規(guī)劃性能

為了全面驗(yàn)證MeWM在治療決策優(yōu)化任務(wù)中的有效性，研究團(tuán)隊(duì)分別在私有和公開(kāi)數(shù)據(jù)集上進(jìn)行了系統(tǒng)性實(shí)驗(yàn)。

實(shí)驗(yàn)首先通過(guò)視覺(jué)圖靈測(cè)試驗(yàn)證了生成式模型模擬預(yù)后腫瘤形態(tài)的真實(shí)性，而后分析了生存分析模型根據(jù)術(shù)前術(shù)后圖像預(yù)測(cè)生存風(fēng)險(xiǎn)的準(zhǔn)確性。

最后檢驗(yàn)了機(jī)制在TACE治療方案篩選上的準(zhǔn)確性，對(duì)比了多個(gè)多模態(tài)大模型，并表明各模塊的有效性。

核心結(jié)果

術(shù)后腫瘤生成效果

在真實(shí)性評(píng)估中，MeWM經(jīng)受了由三位放射科醫(yī)生參與的「圖靈測(cè)試」。研究共準(zhǔn)備了240份CT圖像，其中120例為真實(shí)術(shù)后圖像，另外120例由不同模型合成。

醫(yī)生需在不知情的情況下判斷每張圖像是真實(shí)還是合成，依據(jù)是圖像中是否存在典型術(shù)后特征，如碘油沉積、壞死區(qū)與殘留活組織的混合表現(xiàn)。

結(jié)果顯示，三位醫(yī)生在識(shí)別真實(shí)圖像方面表現(xiàn)穩(wěn)定，但在識(shí)別合成圖像方面差異顯著：MeWM 所生成圖像被誤判為真實(shí)的比例最高，specificity分別為79%、71%和75%，遠(yuǎn)優(yōu)于其他方法，說(shuō)明其合成結(jié)果在外觀(guān)上最接近真實(shí)術(shù)后腫瘤。

同時(shí)，MeWM在生成質(zhì)量指標(biāo)上也表現(xiàn)優(yōu)異，F(xiàn)ID和LPIPS均為所有方法中最低，進(jìn)一步證明了生成的腫瘤圖像在結(jié)構(gòu)細(xì)節(jié)與視覺(jué)真實(shí)度上的領(lǐng)先水平。

可靠的啟發(fā)式函數(shù)

在生存風(fēng)險(xiǎn)評(píng)估中，MeWM的啟發(fā)式模型相較傳統(tǒng)Cox比例風(fēng)險(xiǎn)模型展現(xiàn)出更高的準(zhǔn)確性。

基于公開(kāi)數(shù)據(jù)集，實(shí)驗(yàn)發(fā)現(xiàn)Cox模型難以區(qū)分高低風(fēng)險(xiǎn)樣本，預(yù)測(cè)結(jié)果過(guò)于平滑，MSE為0.3550；而 MeWM模型更貼近真實(shí)分布，MSE降至0.2142

進(jìn)一步的Kaplan-Meier分析顯示，MeWM的風(fēng)險(xiǎn)分層能力更強(qiáng)，C-Index提高至 0.752，顯著優(yōu)于影像組學(xué)特征驅(qū)動(dòng)的Cox模型。

結(jié)果表明，MeWM能有效捕捉術(shù)前與術(shù)后影像中的風(fēng)險(xiǎn)變化，為治療效果評(píng)估提供更可靠的支持。

革命性的臨床輔助決策能力

在TACE治療方案探索任務(wù)中，MeWM 展現(xiàn)出顯著的性能優(yōu)勢(shì)。

在私有數(shù)據(jù)集上，其F1-score達(dá)到52.38%，較GPT-4o、Claude-3.7和MedGPT等多模態(tài)大模型提升超過(guò)10%；在公開(kāi)數(shù)據(jù)集上，F(xiàn)1-score達(dá)到64.08%，接近專(zhuān)業(yè)放射科醫(yī)生（71.43%）的水平，同時(shí)在Jaccard、Precision和Recall等關(guān)鍵指標(biāo)上也全面領(lǐng)先多模態(tài)大模型。

不同于僅依賴(lài)視覺(jué)語(yǔ)言推理的模型，MeWM基于生成的術(shù)后CT進(jìn)行生存分析評(píng)分，形成完整的「治療模擬—效果評(píng)估—方案篩選」閉環(huán)機(jī)制，使得模型能夠更準(zhǔn)確地判斷不同治療組合帶來(lái)的潛在療效差異。

進(jìn)一步地，將MeWM融入醫(yī)生的決策流程中，平均可帶來(lái)13%的F1-score提升，輔助醫(yī)生在術(shù)前更有效地預(yù)判治療結(jié)果并優(yōu)化用藥與栓塞材料配置，其推薦結(jié)果在多個(gè)真實(shí)病例中與專(zhuān)家方案高度一致，體現(xiàn)了其在臨床輔助決策中的實(shí)際應(yīng)用潛力。

結(jié)語(yǔ)：讓AI成為醫(yī)生的「時(shí)間旅行者」

MeWM不僅能「預(yù)測(cè)治療結(jié)果」，更能「基于未來(lái)進(jìn)行當(dāng)前優(yōu)化」。

這不僅是生成模型在醫(yī)學(xué)領(lǐng)域的創(chuàng)新突破，更是世界模型在臨床決策中的首次落地實(shí)踐。

未來(lái)，MeWM有望成為醫(yī)生的第二讀圖者、術(shù)前規(guī)劃的智能助手，推動(dòng)臨床治療從經(jīng)驗(yàn)驅(qū)動(dòng)邁向數(shù)據(jù)驅(qū)動(dòng)、模擬先行的新紀(jì)元。

Medical World Model的發(fā)布標(biāo)志著世界模型在醫(yī)學(xué)領(lǐng)域的一次重要進(jìn)展，為精準(zhǔn)醫(yī)療的可視化、可量化、可優(yōu)化研究提供了新的思路。

參考資料：

https://arxiv.org/abs/2506.02327