（來源：MIT News）

機器學習中有一個眾所周知的問題，稱為“幻覺”，它指的是模型生成看似合理但事實上錯誤或無意義信息的現象。

比如 ChatGPT 等大模型幾乎可以解答所有問題，它們很少會暴露出自身知識的盲區或不確定領域。但隨著 AI 系統日益廣泛地應用于藥物研發、信息整合和自動駕駛等領域，這一缺陷可能引發嚴重后果。

如今，麻省理工學院（MIT）的衍生公司 Themis AI 正致力解決上述問題，從而提升模型的可信度。該公司的 Capsa 平臺可與任何機器學習模型協同工作，在數秒內檢測并糾正不可靠的輸出結果。其工作原理是通過改造 AI 模型，使其能夠識別數據處理過程中暗示模糊性、不完整性或偏見的模式。

“我們的理念是將模型嵌入 Capsa 框架，識別其不確定性和故障模式，進而優化模型。我們很高興能提供一種解決方案，既能改進模型，又能保證模型正常運行。” Themis AI 的聯合創始人、MIT 計算機科學與人工智能實驗室（CSAIL）主任 Daniela Rus 表示。

Rus 于 2021 年與實驗室前研究員 Alexander Amini 以及 Elaheh Ahmadi 共同創立了 Themis AI。成立以來，該公司已協助電信公司優化網絡規劃與自動化系統，幫助石油企業運用 AI 解析地震圖像，并發表了關于開發更可靠聊天機器人的研究論文。

“我們的目標是讓 AI 能夠應用于各行業最高風險的領域。隨著應用范圍擴大，AI 產生的錯誤可能導致災難性后果。Themis 的技術能讓任何 AI 系統在故障發生前，預判并預測自身的失誤。” Amini 表示。

Themis AI 之旅始于數年前 Rus 教授在麻省理工學院的實驗室，當時團隊正在研究一個基本問題：如何讓機器意識到自身的局限性？

2018 年，Rus 團隊獲得了豐田公司的資助，用于研究基于機器學習的自動駕駛解決方案的可靠性。“在這種安全至關重要的場景下，了解模型的可靠性非常關鍵。”

研究結果表明，將這些專有的不確定性估計算法與最先進的自動駕駛汽車相結合，可使碰撞次數減少 16 倍，計算時間縮短 12 倍，從近乎碰撞的場景中恢復的成功率提高 89%，并減少 93% 的自動駕駛請求。

在另一項研究中，Rus、Amini 及團隊開發了一種能檢測人臉識別系統種族與性別偏見的算法，通過自動重新加權模型訓練數據，成功消除了偏見。該算法通過識別底層訓練數據中缺乏代表性的部分，并生成新的相似數據樣本來實現數據再平衡。

到 2021 年，這幾位科學家已經證明類似方法可幫助制藥公司利用 AI 模型預測候選藥物特性。“指導藥物發現可能節省巨額成本，正是這個應用案例讓我們意識到這項技術的巨大潛力。” Rus 表示。

結果表明，該方法能夠在不確定性與誤差相關的情況下進行校準預測，通過不確定性引導的主動學習實現樣本高效訓練，并提高了實驗驗證率。藥物研發成本降低 75%，研發速度提高 10 倍，訓練數據減少 60%。

同年晚些時候，他們創立了 Themis AI。

如今，Themis AI 正在與多個行業的企業開展合作，其中很多公司正在構建自己的大型語言模型。通過使用 Capsa 平臺，這些模型能夠分析其輸出并報告其置信度，從而幫助在采取行動前標記處潛在的不可靠結果。

該技術的另一個優勢在于它適用于計算能力有限的設備。邊緣設備使用的模型規模較小，無法達到服務器上運行的大型模型的精度。但有了 Themis 的技術，這些設備將能夠在本地更好地處理大多數任務，只有在遇到挑戰時才會向大型服務器請求幫助。

Themis AI 在與半導體廠商探討在芯片上部署可脫離云環境的 AI 解決方案。“通常手機或嵌入式系統的小型模型精度遠低于服務器版本，但我們的技術能實現兩全其美：在保持低延遲、高效邊緣計算的同時不犧牲質量。我們預見未來邊緣設備將承擔主要工作，但當其輸出存疑時，可將任務轉交中央服務器處理。” Themis AI 技術主管 Stewart Jamieson 表示。

此外，制藥公司也可以使用 Capsa 優化用于篩選候選藥物及預測臨床試驗效果的 AI 模型。

圖 | 該公司的投資方（來源：Themis AI 官網）

目前，Themis AI 正在探索 Capsa 在改進 AI 思維鏈推理方面的潛力，這將顯著提升 LLM 的性能和效率。這一進展對于提升 AI 體驗、降低延遲和降低計算需求具有深遠的影響。

https://news.mit.edu/2025/themis-ai-teaches-ai-models-what-they-dont-know-0603