2025年以來(lái)，Deepseek通過(guò)開(kāi)放生態(tài)加速了算法研發(fā)與臨床場(chǎng)景的深度融合。醫(yī)療大模型摒棄了“技術(shù)至上”的思維，逐漸進(jìn)入實(shí)用主義階段。作為AI應(yīng)用最為深入的領(lǐng)域之一，醫(yī)學(xué)影像在大模型時(shí)代迎來(lái)了更快速的發(fā)展。

如何增強(qiáng)AI模型泛化能力？大模型幻覺(jué)問(wèn)題如何解決？大模型多模態(tài)數(shù)據(jù)整合的難點(diǎn)及解決方案有哪些？動(dòng)脈網(wǎng)與數(shù)坤科技首席技術(shù)官鄭超、透徹未來(lái)聯(lián)創(chuàng)兼首席技術(shù)官王書(shū)浩這兩位深耕醫(yī)療AI多年的專(zhuān)家們聊了聊，供行業(yè)參考。

本文主要觀點(diǎn)如下：

1、已覆蓋影像科全工作流程，解決病理三大泛化性挑戰(zhàn)

2、通過(guò)多維數(shù)據(jù)強(qiáng)化與模型迭代，提升AI泛化性能

3、RAG技術(shù)、模型優(yōu)化多管齊下，破解幻覺(jué)困局

4、憑數(shù)據(jù)本地化控制特性，一體機(jī)成醫(yī)院部署主流選擇

5、未來(lái)趨勢(shì)：性能提升、多模態(tài)融合與全科化演變

01

大模型已深入醫(yī)生全工作流程

醫(yī)學(xué)影像人工智能模型在參數(shù)規(guī)模未達(dá)當(dāng)前水平時(shí)便展現(xiàn)出了廣闊的應(yīng)用前景，現(xiàn)已在影像科醫(yī)生的工作全流程中實(shí)現(xiàn)了常態(tài)化應(yīng)用。而在輔助診斷專(zhuān)用模型之后，數(shù)坤科技在4月發(fā)布的“數(shù)坤坤多模態(tài)醫(yī)療健康大模型”，便實(shí)現(xiàn)了讓AI從輔助工具進(jìn)化為診療生態(tài)的核心驅(qū)動(dòng)力。

數(shù)坤科技首席技術(shù)官鄭超認(rèn)為，醫(yī)學(xué)影像大模型將進(jìn)一步向多模態(tài)精準(zhǔn)診斷、個(gè)性化治療決策、手術(shù)規(guī)劃與預(yù)后模擬等潛力方向發(fā)展。而這也是數(shù)坤科技正在探索的方向。

在眾多應(yīng)用場(chǎng)景中，因病理圖像具有非常大的多樣性，病理大模型也被認(rèn)為是醫(yī)療模型“皇冠上的明珠”。為破解病理診斷準(zhǔn)確性與效率難題，透徹未來(lái)研發(fā)了全球首個(gè)臨床應(yīng)用級(jí)病理大模型產(chǎn)品——透徹洞察，基于億級(jí)參數(shù)量和海量高精度病理數(shù)據(jù)訓(xùn)練，為病理醫(yī)生提供精準(zhǔn)穩(wěn)健、全面快速的病理臨床診斷輔助。

透徹未來(lái)聯(lián)合創(chuàng)始人兼首席技術(shù)官王書(shū)浩分享病理大模型的臨床應(yīng)用價(jià)值，在于有效解決了病理領(lǐng)域長(zhǎng)期面臨的醫(yī)院泛化性、癌種泛化性和病理任務(wù)泛化性挑戰(zhàn)。

以任務(wù)泛化性為例。病理診斷需同步完成病灶分割、細(xì)胞檢測(cè)、切片分類(lèi)等多任務(wù)，傳統(tǒng)方法需部署數(shù)十個(gè)小模型，維護(hù)成本高。但大模型提出通用特征底座方案，預(yù)訓(xùn)練病理切片的組織紋理、細(xì)胞排列等通用表征，使下游任務(wù)僅需微調(diào)即可完成，能夠極大簡(jiǎn)化流程并提高診療效率。

02

強(qiáng)化數(shù)據(jù)與模型迭代，提升AI泛化性能

在臨床應(yīng)用中，AI模型的泛化能力至關(guān)重要，是評(píng)估模型可靠性與穩(wěn)定性、可遷移性的關(guān)鍵指標(biāo)。然而，一些 AI 模型在受控的訓(xùn)練環(huán)境中表現(xiàn)出色，一旦進(jìn)入實(shí)際部署階段，其性能卻大打折扣。鄭超分析認(rèn)為，影響模型泛化能力的主要原因主要有以下三點(diǎn)：

首先是數(shù)據(jù)多樣性不足。不同醫(yī)院的數(shù)據(jù)采集標(biāo)準(zhǔn)不同，不同設(shè)備的成像參數(shù)不一致，再加上不同人群在年齡、地域分布上的不均衡，使得模型在跨場(chǎng)景應(yīng)用時(shí)泛化能力較弱，表現(xiàn)波動(dòng)較大。

其次是模型自身存在局限性。如架構(gòu)設(shè)計(jì)存在缺陷、訓(xùn)練策略不夠合理等，都會(huì)影響模型輸出的穩(wěn)定性和可靠性。

三是醫(yī)學(xué)數(shù)據(jù)本身的長(zhǎng)尾性。在實(shí)際的臨床場(chǎng)景中，同一部位的不同疾病發(fā)病率并不相同，在收集數(shù)據(jù)時(shí)很難采集到足夠多的發(fā)病率較低的疾病數(shù)據(jù)。對(duì)于一些像存在掃描偽影等特殊情況的病例，同樣難以收集。因此訓(xùn)練階段往往缺乏足夠的低質(zhì)量樣本覆蓋，使得模型在一些真實(shí)環(huán)境下表現(xiàn)一般。

那么，我們?cè)撊绾渭訌?qiáng)AI模型的泛化能力呢？受訪對(duì)象們認(rèn)為可從以下三維度出發(fā)：

擴(kuò)大數(shù)據(jù)樣本容量及其多樣性，提升模型在復(fù)雜場(chǎng)景下的特征提取穩(wěn)定性；同時(shí)通過(guò)數(shù)據(jù)增強(qiáng)技術(shù)，模擬不同掃描設(shè)備、患者體位、病變階段的影像特征，來(lái)提升模型的泛化能力。

優(yōu)化訓(xùn)練模型。第一，提升模型容量，增加參數(shù)量以容納復(fù)雜多樣的數(shù)據(jù)特征，并采用更靈活的架構(gòu)，提升對(duì)異構(gòu)數(shù)據(jù)的建模能力；第二，改進(jìn)訓(xùn)練策略，設(shè)計(jì)針對(duì)性損失函數(shù)，如結(jié)合臨床指標(biāo)的加權(quán)損失，同時(shí)利用獎(jiǎng)勵(lì)機(jī)制引導(dǎo)模型學(xué)習(xí)關(guān)鍵特征；其三，防止過(guò)擬合，運(yùn)用正則化、交叉驗(yàn)證等技術(shù)，確保模型在訓(xùn)練集外的穩(wěn)定性。

在實(shí)際場(chǎng)景中持續(xù)迭代模型。企業(yè)可以通過(guò)在不同醫(yī)療環(huán)境（如三級(jí)醫(yī)院、基層醫(yī)院等）多場(chǎng)景部署模型，建立“部署-反饋-迭代”的閉環(huán)，提升模型在真實(shí)醫(yī)療環(huán)境中的穩(wěn)定性。同時(shí)，要明確 AI 的能力邊界，由醫(yī)生對(duì)結(jié)果進(jìn)行把關(guān)，確保結(jié)果的可靠性和安全性。

03

RAG技術(shù)、模型優(yōu)化多管齊下，破解幻覺(jué)困局

隨著大模型在醫(yī)學(xué)領(lǐng)域的深入應(yīng)用，幻覺(jué)問(wèn)題成為制約其落地的障礙之一。產(chǎn)業(yè)界積極求解，提出了多種應(yīng)對(duì)策略。

RAG（外部檢索增強(qiáng)生成）是減輕幻覺(jué)的重要技術(shù)路徑之一。它在大模型生成過(guò)程中引入外部知識(shí)庫(kù)，為模型提供可靠信息支持，無(wú)需介入模型訓(xùn)練，即可提升生成內(nèi)容的準(zhǔn)確性和可信度。

但RAG也有其局限性，因此應(yīng)用RAG需要特別注意以下三個(gè)要點(diǎn)：選擇合適的基座大模型，以確保模型在給定的資源和時(shí)間限制下能夠高效運(yùn)行；動(dòng)態(tài)更新知識(shí)庫(kù)內(nèi)容，沒(méi)有高質(zhì)量的場(chǎng)景知識(shí)庫(kù)，RAG便是無(wú)源之水，減輕幻覺(jué)便無(wú)從談起；選擇合適的檢索技術(shù)，更充分地利用場(chǎng)景知識(shí)庫(kù)，為大模型召回更匹配的語(yǔ)言片段，使得生成所需信息時(shí)更為準(zhǔn)確。

生成式+判別式AI優(yōu)勢(shì)互補(bǔ)，協(xié)同交互驗(yàn)證。王書(shū)浩提出了生成式與判別式AI協(xié)同的解決方案。他指出，生成式AI通過(guò)模擬“輸入-輸出”的聯(lián)合分布生成答案，但開(kāi)放性問(wèn)題無(wú)唯一解，模型可能輸出自相矛盾或脫離現(xiàn)實(shí)的內(nèi)容。

其解決方法在于生成式與判別式 AI 的協(xié)同應(yīng)用。具體而言，對(duì)于如醫(yī)療診斷等關(guān)鍵決策場(chǎng)景，應(yīng)采用判別式 AI，限定輸出范圍（如從預(yù)定義的腫瘤類(lèi)型標(biāo)簽中選擇），避免開(kāi)放性答案帶來(lái)的不可控風(fēng)險(xiǎn)。而在需要探索的場(chǎng)景，如科研假設(shè)生成，可使用生成式 AI，但宜采用“選擇題+自由發(fā)揮”的混合模式，先通過(guò)選擇引導(dǎo)方向，再進(jìn)行自由發(fā)揮，以降低幻覺(jué)風(fēng)險(xiǎn)。

通過(guò)模型改進(jìn)來(lái)增強(qiáng)大模型的推理和驗(yàn)證能力。鄭超分享到，數(shù)坤科技希望探索統(tǒng)一的多模態(tài)模型架構(gòu)，整合影像、文本等多源數(shù)據(jù)，降低訓(xùn)練成本與復(fù)雜性，使模型能夠基于跨模態(tài)的全局理解生成結(jié)果。

同時(shí)，采取多層次技術(shù)策略應(yīng)對(duì)幻覺(jué)問(wèn)題：一方面通過(guò)“輸出對(duì)齊”技術(shù)，讓模型在低置信度時(shí)主動(dòng)聲明不確定性或請(qǐng)求補(bǔ)充信息；另一方面引入醫(yī)學(xué)思維鏈訓(xùn)練，要求模型分步推理并自我驗(yàn)證，確保答案有據(jù)可依。鄭超也提到，在復(fù)雜醫(yī)療場(chǎng)景中也可采用“判別式+生成式”模式，先用判別式判斷疾病類(lèi)型，再用生成式進(jìn)行個(gè)性化說(shuō)明，為診斷決策提供高效且安全的支持。

可以看到，盡管大模型幻覺(jué)問(wèn)題短期內(nèi)難以徹底解決，但通過(guò)技術(shù)迭代與多學(xué)科協(xié)作，其可靠性正在穩(wěn)步提升。

04

一體機(jī)成為當(dāng)前醫(yī)院部署主流選擇

在人工智能技術(shù)融入醫(yī)療場(chǎng)景的關(guān)鍵進(jìn)程中，大模型的部署模式成為釋放技術(shù)效能的核心要素。當(dāng)前，本地部署憑借在數(shù)據(jù)隱私保護(hù)與合規(guī)性方面的天然優(yōu)勢(shì)，成為眾多醫(yī)院的首選方案。

王書(shū)浩指出，本地部署主要分為兩種類(lèi)型：純圖像大模型和通用大模型。

其中，純圖像大模型通過(guò)工程優(yōu)化后，可在家用級(jí)GPU上運(yùn)行，展現(xiàn)出強(qiáng)大的適配性和靈活性；而通用大模型則需要利用大量本地?cái)?shù)據(jù)進(jìn)行微調(diào)，以適應(yīng)專(zhuān)業(yè)診斷需求。一體機(jī)作為一種融合性的解決方案，它巧妙結(jié)合了通用大模型和專(zhuān)用醫(yī)療大模型的優(yōu)勢(shì)，為醫(yī)院提供了全方位的技術(shù)支持，滿足了多樣化的醫(yī)療場(chǎng)景需求。

鄭超補(bǔ)充道，從實(shí)際落地情況來(lái)看，一體機(jī)憑借其數(shù)據(jù)本地化控制的特性，成為了當(dāng)前醫(yī)院部署的選擇主流。在院內(nèi)私有化環(huán)境中，一體機(jī)將硬件、基礎(chǔ)支撐軟件與大模型集成為一體，有效滿足了國(guó)內(nèi)醫(yī)院對(duì)數(shù)據(jù)隱私和合規(guī)性的高要求。在單科室或區(qū)域級(jí)醫(yī)院的非核心場(chǎng)景中，部署通用大模型的一體機(jī)展現(xiàn)出一定價(jià)值，例如自動(dòng)生成病歷摘要、整理結(jié)構(gòu)化報(bào)告等，為醫(yī)療流程的優(yōu)化提供了幫助。

然而，在綜合診斷、病理邏輯推演等要求極高的精準(zhǔn)醫(yī)療任務(wù)中，只部署通用大模型的一體機(jī)的醫(yī)學(xué)專(zhuān)業(yè)能力短板就非常明顯。此外，一些設(shè)計(jì)不足的一體機(jī)的擴(kuò)展存在瓶頸，也限制了其在更廣泛場(chǎng)景中的應(yīng)用。因此選擇具備橫向擴(kuò)展能力的一體機(jī)，才能夠在更長(zhǎng)遠(yuǎn)的時(shí)間內(nèi)勝任全院級(jí)多模態(tài)數(shù)據(jù)的協(xié)同分析，這也是醫(yī)療機(jī)構(gòu)在選擇一體機(jī)時(shí)的一個(gè)重要考量因素。

此外，公有云部署方式以其彈性算力供給和跨機(jī)構(gòu)數(shù)據(jù)協(xié)作的優(yōu)勢(shì)，也展現(xiàn)出了獨(dú)特的靈活性。在在線問(wèn)診、遠(yuǎn)程會(huì)診等場(chǎng)景中，公有云能夠快速調(diào)配資源，滿足不同醫(yī)療機(jī)構(gòu)的實(shí)時(shí)需求。然而，其在數(shù)據(jù)隱私和合規(guī)性方面的風(fēng)險(xiǎn)不容忽視。

05

未來(lái)趨勢(shì)：性能提升、多模態(tài)融合與全科化演變

最后，我們來(lái)談一下大模型未來(lái)的發(fā)展趨勢(shì)。

當(dāng)下醫(yī)療大模型在性能層面已逐步超越傳統(tǒng)小模型。王書(shū)浩提到，以影像領(lǐng)域?yàn)槔湓诖_保敏感度達(dá)到 100% 的前提下，能顯著提升特異性，這一優(yōu)勢(shì)使其應(yīng)用范圍持續(xù)拓展。原本僅適用于三四千家醫(yī)院的模型，如今已成功推廣至超萬(wàn)家醫(yī)院。隨著模型的應(yīng)用與數(shù)據(jù)積累，其性能有望進(jìn)一步優(yōu)化，為更多患者提供優(yōu)質(zhì)醫(yī)療服務(wù)。

醫(yī)學(xué)應(yīng)用正朝著多模態(tài)融合的方向發(fā)展。鄭超觀察到，過(guò)去，影像、文本等大模型各自獨(dú)立，如今逐漸走向整合。多模態(tài)大模型能夠融合不同類(lèi)型的醫(yī)療數(shù)據(jù)，為醫(yī)生提供更全面的患者病情信息，不僅提升了診斷的準(zhǔn)確性，還為個(gè)性化治療方案的制定提供了有力依據(jù)。

大模型正朝著全科化的方向演變。鄭超將其比作數(shù)字化“全科醫(yī)生”，不再局限于某一專(zhuān)科領(lǐng)域，能夠綜合患者的檢查檢驗(yàn)結(jié)果、影像、病理等多維度診療信息，提供綜合診斷與治療建議。

同時(shí)，他也提到，醫(yī)療數(shù)據(jù)的不斷積累，尤其是完整患者數(shù)據(jù)的收集，將為大模型的訓(xùn)練提供更豐富、更全面的素材，進(jìn)一步提升模型的性能和準(zhǔn)確性。盡管數(shù)據(jù)稀疏性和長(zhǎng)尾性等問(wèn)題會(huì)給模型訓(xùn)練帶來(lái)一定的挑戰(zhàn)，但通過(guò)不斷優(yōu)化算法和模型結(jié)構(gòu)，以及對(duì)數(shù)據(jù)進(jìn)行更深入的挖掘和分析，未來(lái)將逐步克服這些困難，實(shí)現(xiàn)更廣泛的應(yīng)用和更完善的解決方案。

*封面圖片來(lái)源：123rf

如果您認(rèn)同文章中的觀點(diǎn)、信息，或想進(jìn)一步討論，請(qǐng)與我們聯(lián)系；也可加入動(dòng)脈網(wǎng)行業(yè)社群，結(jié)交更多志同道合的好友。

聲明：動(dòng)脈網(wǎng)所刊載內(nèi)容之知識(shí)產(chǎn)權(quán)為動(dòng)脈網(wǎng)及相關(guān)權(quán)利人專(zhuān)屬所有或持有。未經(jīng)許可，禁止進(jìn)行轉(zhuǎn)載、摘編、復(fù)制及建立鏡像等任何使用。文中如果涉及企業(yè)信息和數(shù)據(jù)，均由受訪者向分析師提供并確認(rèn)。