Cloudflare 首席執行官 Matthew Prince 最近重申了他的警告，稱生成式人工智能爬蟲和摘要威脅著互聯網商業模式的根基。為了保護出版商免受大量幾乎無法帶來真實網站訪問量的人工智能流量的侵擾，該公司正在研究對抗人工智能爬蟲的方法。

上周，普林斯在戛納的 Axios 活動上表示，搜索引擎和聊天機器人使用生成式人工智能來總結網頁內容，這顯著減少了許多網站的人類訪客數量。即使與六個月前相比，這個問題也變得更加嚴重。

傳統上，Google每抓取一個網站六次，就可能有一個人訪問并可能看到廣告。相比之下，OpenAI 的抓取工具的抓取率約為 250:1，Anthropic 的則為 6000:1。如今，Cloudflare 的首席執行官估計，Google的抓取率與訪問者比率已降至 18:1，OpenAI 的則降至 1500:1，而 Anthropic 的則約為 60000:1。

這種下降可能是因為聊天機器人和搜索引擎現在節省了用戶訪問網站的精力。聊天機器人可以在用戶無需離開聊天界面的情況下檢索和匯總信息，而主流搜索引擎的人工智能概覽現在可以在用戶點擊搜索結果之前提供答案。

Google首次推出AI概覽時，聲稱這項技術將提升摘要內容原始來源的流量。同樣，像ChatGPT這樣的大型語言模型最近也開始在回復中引用來源，以幫助將流量引導回內容創作者。

然而，Prince聲稱，用戶總體上并沒有點擊腳注。相反，許多人只是接受了 AI 的回答，因為過去六個月里，人們對這項技術的信任度不斷增長。除了導致網站流量和收入下降之外，由于 AI 傾向于生成不準確或誤導性信息，這種趨勢還具有潛在的危險性。

對此，為網站提供網絡安全解決方案的Cloudflare推出了一款名為AI Labyrinth的新工具。該工具旨在利用生成式人工智能對抗爬蟲程序本身。

盡管網站可以包含阻止AI爬蟲的指令，但許多機器人會繞過或忽略這些指令。當AI Labyrinth檢測到此類行為時，它會引導機器人穿過AI生成的鏈接迷宮，而這些鏈接是人類不會合理遵循的，從而浪費機器人的時間和計算資源。

盡管對抗Google、微軟和 OpenAI 等人工智能巨頭似乎非常艱巨，但 Prince 強調，Cloudflare 在成功保護其客戶方面有著良好的記錄，甚至能夠抵御來自強大國家政府的攻擊。