摘要

人工智能（AI）工具越來越多地被用于幫助對個人做出重大決策。雖然 AI 模型在總體上可能準確，但它們對于特定個人或個體層面相關的結果可能同時具有高度不確定性。對于高風險應用（如醫療保健和醫學、國防和安全、銀行和金融），AI 決策支持系統必須能夠以嚴謹的方式對不確定性進行個性化評估。然而，目前用于實現這一目標的統計框架尚不完善。在此，我們概述了當前個性化不確定性量化（PUQ）的方法，并定義了一系列與 PUQ 在多模態 AI、可解釋 AI、生成式 AI 和 AI 公平性等不同領域的發展和使用相關的重大挑戰。

關鍵詞：個性化不確定性量化（PUQ），保形預測（Conformal Prediction），多模態AI（Multimodal AI），可解釋AI（XAI），AI公平性（AI Fairness）

論文題目：Personalized uncertainty quantification in artificial intelligence 發表時間：2025年4月23日 論文地址：https://www.nature.com/articles/s42256-025-01024-8 發表期刊：Nature Machine Intelligence

在醫療診斷、金融風控、司法評估等高風險領域，AI的預測結果通常會對個體產生直接的影響。盡管模型在群體層面可能表現優異，但針對特定個體或少數群體的預測可能隱藏巨大不確定性。傳統方法（如置信區間）難以捕捉個性化差異，而忽視這種不確定性可能導致災難性后果。例如，醫療AI若對患者的癌癥風險預測結果存在高不確定性，卻未明示，可能延誤治療。為此，Nature Machine Intelligence最新觀點文章提出個性化不確定性量化（PUQ）的框架與挑戰，旨在為AI決策注入可解釋的“風險預警系統”。

保形預測：為每個個體評估「不確定性」

保形預測（Conformal Prediction, CP）是當前最受關注的PUQ方法，該方法讓AI算法為每個待預測的樣本，生成一個覆蓋真實值的最小預測集合 ，保證真實值覆蓋率高于用戶指定的水平1-α。通過使用一個固定的數據校準集（沒有用于模型訓練），用來嚴格評估模型預測的不確定性。

CP的優勢在于無需假設數據分布或模型結構，需滿足“數據可交換性”（即樣本順序不影響統計性質）。其關鍵步驟包括（圖 1）：

• 非共形評分（non-conformity score）：在訓練模型的基礎上，衡量預測值與真實值的偏離程度；

• 校準集排序：根據校準數據的評分分布確定閾值；

• 動態調整：在線學習場景中，通過實時反饋修正閾值以應對數據漂移問題。

然而，CP滿足覆蓋率要求只是“邊際性”的，它只保證平均覆蓋率高于置信水平，但無法保證在不同特征空間和結果空間的覆蓋率都相同，可能對某些亞群（如罕見病患者）覆蓋不足，這引出了首個挑戰。

圖 1. 保形預測（CP）方法。CP 生成了一個預測集，該預測集能保證對每個預測的真值具有指定概率的覆蓋。

八大挑戰：

從數據缺失到生成式AI的「幻覺」困境

1. 個體化覆蓋難題：傳統的CP方法僅能提供總體層面或子群層面的“邊際”覆蓋保證，但在高風險應用場景中，需要對每個個體都給出條件化的置信區間。嚴格意義上的個體條件覆蓋在無分布假設下不可實現，然而臨床或金融決策支持系統必須確保每位用戶都獲得同等可靠的不確定性評估。現有的啟發式方法（如針對不同群體分組校準的 Mondrian CP 或調整非一致性分數）雖可在一定程度上應對，但往往犧牲樣本利用效率，無法真正滿足個體級別的置信需求。未來需要開發無需強分布前提、可在單個樣本水平上給出嚴格置信保證的新范式。

2. 多尺度建模的復雜性：從微觀（如單細胞組學）到宏觀（如流行病學）的多尺度數據融合，顯著增加了模型復雜度和不確定性來源。構造一個統一的非一致性分數以同時反映各尺度特征的非線性相互作用，既不可行也難以解釋；僅將各尺度分數簡單拼接，則忽視了尺度間的依賴關系。此外，不同尺度的數據在質量與缺失模式上差異巨大，使得統計與模型不確定性交織難解。PUQ 框架亟需在兼顧跨尺度耦合、數據質量異質性與計算可擴展性的前提下，提供穩健且可解釋的多尺度不確定性度量。

3. 多模態AI的「信息悖論」：現代 AI 系統往往同時利用基因組、醫學影像、可穿戴設備和電子病歷等多種模態信息，各自的噪聲特性和缺失模式各異。雖然額外數據可降低部分馀升（aleatoric）不確定性，卻可能引入新的混淆變量，從而反而降低整體模型可靠性。挑戰在于如何在信息增益與噪聲干擾之間實現平衡，并在模型生命周期中動態整合新興模態，同時量化每種模態對預測不確定性的貢獻。借鑒信息價值理論與多模態共學習方法，PUQ 應當基于上下文自適應地融合各模態，生成一致且個性化的置信區間。

4. 可解釋AI的「不確定性敘事」：可解釋 AI（XAI）旨在揭示模型決策背后的邏輯，而 PUQ 則評估預測的不確定性，二者融合需構建既能說明“為什么”又能度量“有多確定”的框架。例如，可將概念瓶頸或原型模型等自解釋架構與 CP 方法結合，為每個解釋成分附加置信區間，使終端用戶既能理解決定因素，又能掌握對應的置信度。這種協同將極大提高 AI 系統在醫療、金融等領域的可信度和透明度。

5. 模型監控的「時間陷阱」：隨著時間推移，數據漂移或概念漂移會導致模型性能下降，但現有漂移檢測方法多關注總體指標，或需依賴標簽反饋。高風險場景要求實時、個體級別的不確定性監控，以及時發現特定用戶預測何時不再可靠。在線 CP 等初步方法雖提供持續校準機制，但尚處早期發展階段。理想的監控流水線應結合流數據分析、自適應重校準和不確定性預警，確保決策系統在性能退化前主動報警并進行糾正。

6. 缺失數據的「結構化問題」：隨著大規模數據庫的積累，結構化缺失（與人群特征或疾病嚴重度相關）日益普遍。標準 PUQ 方法往往假定協變量完備，無從刻畫缺失帶來的附加不確定性。可借助網絡嵌入或高階網絡分析等方式揭示缺失模式的幾何與拓撲結構，并據此對預測集進行適當擴展，既反映數據稀疏引起的信心水平下降，又能標示出因數據貧乏而面臨高風險的子群，為后續的填補或針對性采樣提供指引。

7. 公平性困境：訓練數據中弱勢群體樣本稀少，將導致該群體在模型擬合和參數估計時存在更高的系統性不確定性。PUQ 框架必須確保不確定性度量不會進一步加劇社會不平等，反而能主動檢測并糾正因人群代表性不足帶來的偏差。可通過分層建模、目標數據補采和不確定性報告機制，明確弱勢群體的高風險區間，從而為公平合規（如遵循歐盟 AI 法案）提供技術支持。

8. 生成式AI的「確定性幻覺」：生成模型輸出（文本、圖像、音頻）維度極高，且常常缺乏自然的區間表示方式。不同應用場景對不確定性的容忍度也大相徑庭：創意領域可能偏好多樣性（高方差），而醫學或法律場景則要求嚴格準確。PUQ 在此領域需首先識別出具有語義意義的生成內容特征（如事實性斷言 vs. 風格元素），并對每一特征賦予相應置信范圍。未來研究應在符合性預測思路基礎上，擴展至結構化、序列化或流形化輸出，以構建適用于生成式 AI 的個性化不確定性度量方法。

圖 2.PUQ面臨的主要挑戰：從經典預測任務到新興應用場景。

結語

文章強調，PUQ的價值不僅在于技術突破，更需轉化為用戶可感知的交互設計。例如，醫療AI界面可用“溫度條”顯示風險置信度，紅色高亮低確定性建議，供醫生二次審核；司法系統則需避免直接用數值呈現“犯罪概率”，轉而提供風險等級與法律依據。如何平衡不確定性傳達的透明性與決策效率，不僅需要AI工作者的努力，也需要社會多方共同參與獻策。

集智俱樂部計算社會科學讀書會中，密西根大學博士研究生謝雨桐分享了“AI如何理解我們？我們如何信任AI？”聚焦兩個代表性的研究項目：一個是發表在頂級期刊PNAS上的“AI聊天機器人與人類行為的相似性圖靈測試”（A Turing test of whether AI chatbots are behaviorally similar to humans），另一個是發表在The ACM Web Conference上的“圖像生成AI中的提示詞分析”（A Prompt Log Analysis of Text-to-Image Generation Systems）進行分享。感興趣的可以掃碼查看視頻回放

彭晨| 編譯

大模型安全與對齊讀書會

大模型的狂飆突進喚醒了人們對AI技術的熱情和憧憬，也引發了對AI技術本身存在的社會倫理風險及其對人類生存構成的潛在威脅的普遍擔憂。在此背景下，AI安全與對齊得到廣泛關注，這是一個致力于讓AI造福人類，避免AI模型失控或被濫用而導致災難性后果的研究方向。集智俱樂部和安遠AI聯合舉辦，由多位海內外一線研究者聯合發起，旨在深入探討AI安全與對齊所涉及的核心技術、理論架構、解決路徑以及安全治理等交叉課題。讀書會已完結，現在報名可加入社群并解鎖回放視頻權限。

詳情請見：

1.

2.

3.

4.

5.

6.