大語言模型越來越強，AI生成文本越來越難以檢測？也許不用擔心，越來越強的大語言模型本身也是越來越強的AI生成文本檢測器！

大語言模型廣泛使用，引發人們對虛假新聞、惡意產品評論和剽竊等問題的擔憂。本文提出了一種新的文本檢測方法——Glimpse，打破文本檢測的白盒方法和較強大的黑盒私有模型之間的屏障，獲得檢測準確率的大幅提升（檢測錯誤率降低 50%以上）。無需本地模型，無需生成任何新內容，一次OpenAI API調用就可以獲得任意來源文本的準確檢測結果。

論文題目： Glimpse: Enabling White-Box Methods to Use Proprietary Models for Zero-Shot LLM-Generated Text Detection 論文鏈接： https://openreview.net/forum?id=an3fugFA23 代碼鏈接： https://github.com/baoguangsheng/glimpse

一、研究動機

大型語言模型（LLMs）能夠生成接近人類的流暢且連貫的文本內容，在各個行業（如新聞、社交媒體和教育）中提升生產力的同時，也引發了人們對虛假信息、誤導內容和剽竊等風險的擔憂。為了構建可信賴的人工智能系統，我們迫切需要高質量、自動化的檢測工具。然而，隨著大型語言模型能力的增強，其生成的文本內容越來越接近人類的水平，導致越來越難以準確檢測。

現有的檢測器按其使用檢測模型的方式可以分為兩類：白盒方法和黑盒方法。白盒方法依賴檢測模型的內部狀態或者輸出分布，所以一般需要本地運行開源模型。黑盒方法通過API訪問檢測模型，所以能使用相對更強大的私有大模型。雖然黑盒方法能使用更強的大模型，但由于方法本身的限制，其檢測準確率和檢測效率普遍低于白盒方法。那是否能夠將更準確的白盒方法和更強大的黑盒私有模型相結合呢？受API訪問方式的限制，這看起來似乎不可能。

為了突破這種限制，我們重新審視了白盒方法所使用檢測模型的預測分布，提出了一種新的方法 —— Glimpse，從私有模型API返回的部分信息，來估算模型的預測分布，進而計算相應的檢測指標。從而打破了白盒方法和私有模型之間的屏障，做到了強強聯手。

使用更強大的私有模型，如GPT-3.5，Glimpse成功地將英文語料（涉及五個源模型和三個領域）上的檢測準確率（AUROC）從0.90提升到0.95，在其它六個全球主要語言上將準確率從0.88提升到0.97，檢測錯誤率降低 50%以上。同時，實驗結果也展示了更強的語言模型也是更強的檢測器。

二、方法

圖1：Glimpse概率分布估計方法

我們提出了一種概率分布估計方法——Glimpse，旨在從模型API返回的部分觀測值中估計完整的分布。該觀測值包括輸入token的概率值（logprobs）以及每個token位置上top-K（至少一個）token的概率。以Fast-DetectGPT為例（如圖1所示），我們首先從GPT模型中獲取top-K候選的概率，然后利用這些概率估計整個詞匯表上的分布。其基本思想是尋找最高概率與全詞匯表概率之間的經驗性關聯。為此，我們考察了參數化的幾何分布、Zipf分布以及基于數據訓練的MLP模型來建模這種關聯。通過Glimpse，我們還將諸如熵（Entropy）、排名（Rank）和對數排名（LogRank）等方法成功擴展到私有模型上。

概率分布估計的基本原理是使用一個參數化的分布函數，根據已經觀測到的top-K概率值，唯一確定分布函數的參數，從而獲得完整分布的函數表達。在每個token位置上，我們觀察得到top-K token的概率 ，根據這些概率我們估計 的取值，同時滿足離散分布總概率為1的約束。具體來說，我們考察了以下三種分布函數。

幾何分布（Geometric Distribution）：

其中 為未知參數，需要根據top-K概率和總概率約束來求解。

Zipf分布（Zipfian Distribution）:

其中 和 為未知參數。根據top-K概率，我們可以求解一個最佳的參數組合。

MLP預測分布：

其中 為MLP模型參數。我們使用一個兩層的MLP網絡，輸入top-K概率，預測其它概率。我們使用從gpt-neo-2.7B上采樣的真實分布樣本訓練MLP網絡，在預測時MLP模型保持不變。

圖2：模型的真實分布和不同方法的預測分布

具體如圖2所示，我們來對比一下不同模型的真實分布和不同估計方法的預測分布。首先看左側（a）圖，總體上不同模型的分布走向一致。我們重點關注“*”所代表的分布長尾部分的占比。可以看到，模型越大，這部分占比越小。相應的，其對整個分布的影響也越小。然后看右側（b）圖不同估計方法的預測分布。總的來說，Zipfian分布和MLP分布比較接近，而Geometric分布在長尾部分衰減的很快。

三、實驗結果

預測分布的有效性

圖3：預測分布和真實分布的差異，以及和檢測指標之間的關系\

我們使用開源模型來檢驗概率分布估計的有效性。分別研究了預測分布和真實分布的差異，以及這種差異和檢測指標的關聯。首先，我們使用預測分布和真實分布的KL散度來度量其分布差異。如左圖Figure 2所示，總體上top-K越大相應的KL散度越小。三個估計方法中，Geometric分布的KL散度大于其它兩種。

然后，我們觀察預測分布質量和檢測效果的關聯。如右圖Figure 3所示，總體上KL散度越大（也就是說預測分布和真實分布差異越大），其對應的檢測準確率（AUROC）越小。但在三種估算方法上表現并不一樣，Geometric分布雖然KL散度整體大一些，但檢測準確率整體卻高一些。對比紅星所代表的使用真實分布獲得的檢測準確率，我們可以看到在Fast-Detect和LogRank上，Geometric分布所獲得檢測準確率并沒有下降多少。而在Rank方法上，估計分布所獲得的準確率反而比真實分布的檢測準確率高。

更強的AI文本檢測效果

表1：五個大語言模型生成語料上的對比

在五個最新大語言模型生成的英文語料上，包括新聞、創意寫作和技術問答領域，我們對比了使用開源模型gpt-neo-2.7B的基線，使用gpt-3.5的Fast-Detect將AUROC 從平均0.90提升到0.95。

更顯著的多語言檢測效果

表2：六個語言上的檢測準確率的對比

在多語言場景下，效果更加明顯。使用gpt-3.5的Fast-Detect將AUROC從使用gpt-neo-2.7B的平均0.88提升到0.97。

低誤報率條件下更高的召回率

圖4：在誤報率1%和10%（紅豎線）下的對比

在低誤報率條件下，我們可以看到使用更強的私有模型，Fast-Detect在不同的源模型生成的語料上都獲得了更高的召回率。

四、結語

主要結論： 使用預測的概率分布我們也能做到較高的AI生成文本檢測準確率，說明這條技術路徑可行。使用更強大的模型，我們能獲得更高的檢測準確率，說明更強大的模型本身也是更強大的檢測器。我們也許不用擔心模型越來越強生成的文本越來越難以檢測，因為越來越強的大語言模型本身也是越來越強的AI 生成文本檢測器。

未來展望：Glimpse使得文本檢測白盒方法突破現有的模型限制，產生了一條新的研究路徑。同時，相應的概率分布估計方法，也有可能幫助到其它方向的研究，比如幻覺檢測等。

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術流”原創投稿計劃

TechBeat是由將門創投建立的AI學習社區（

www.techbeat.net

投稿內容

// 最新技術解讀/系統性知識分享 //

// 前沿資訊解說/心得經歷講述 //

投稿須知

稿件需要為原創文章，并標明作者信息。

我們會選擇部分在深度技術解析及科研心得方向，對用戶啟發更大的文章，做原創性內容獎勵

投稿方式

發送郵件到

melodybai@thejiangmen.com

或添加工作人員微信（yellowsubbj）投稿，溝通投稿詳情；還可以關注“將門創投”公眾號，后臺回復“投稿”二字，獲得投稿說明。

關于我“門”

將門是一家以專注于數智核心科技領域的新型創投機構，也是北京市標桿型孵化器。 公司致力于通過連接技術與商業，發掘和培育具有全球影響力的科技創新企業，推動企業創新發展與產業升級。

將門成立于2015年底，創始團隊由微軟創投在中國的創始團隊原班人馬構建而成，曾為微軟優選和深度孵化了126家創新的技術型創業公司。

如果您是技術領域的初創企業，不僅想獲得投資，還希望獲得一系列持續性、有價值的投后服務，歡迎發送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈