沒人喜歡被白嫖，整個互聯(lián)網(wǎng)都一樣。

就在昨天，互聯(lián)網(wǎng)基礎設施巨頭 Cloudflare 宣布了一項新舉措：默認攔截所有未經(jīng)許可的 AI 網(wǎng)絡爬蟲（crawler）對網(wǎng)站內容的抓取。換言之，AI 公司想要抓取網(wǎng)頁數(shù)據(jù)訓練模型，必須先征得網(wǎng)站所有者的同意，否則將被擋在門外。

這一系列舉措無疑在業(yè)界引起震動——對于需要全網(wǎng)搜刮數(shù)據(jù)的大模型開發(fā)廠商來說，免費任吃、數(shù)據(jù)不要錢的好日子，或許沒幾天能過了。

從 7 月初開始，每一個新接入 Cloudflare 的站點都會被詢問是否允許 AI 爬蟲訪問，其默認設置為拒絕，這等于給網(wǎng)站賦予了一鍵封禁 AI 抓取的權力。同時，Cloudflare 還推出了「按次付費爬取」的新模式，網(wǎng)站出版商可以選擇向 AI 爬蟲收取抓取內容的費用。

版權的戰(zhàn)爭打了這么久，憑什么這家公司一出聲，就變得大件事了？

因為這是 Cloudfare，這是真正的互聯(lián)網(wǎng)「保安」。

驗證碼變形記：Cloudflare 如何攔住AI爬蟲

要理解 Cloudflare 此舉的意義，先得弄清它究竟在做什么。

傳統(tǒng)的驗證碼（CAPTCHA）相信大家都不陌生：比如讓用戶選出圖片中所有的紅綠燈，或輸入扭曲的字符，以此區(qū)分「你是人還是機器人」。

一度，驗證碼演化到了一種復雜死人的程度，別說機器人，正常人也要花上好幾分鐘才能解完：

2022 年，Cloudflare 推出了 Turnstile 新一代的「無感驗證」方案。

當你打開某些網(wǎng)站時，可能會看到一句「正在驗證瀏覽器，請稍候」，幾秒后自動放行——這背后就是 Turnstile 在檢查你的瀏覽器環(huán)境、鼠標移動軌跡、頁面操作等數(shù)據(jù)，以確定訪問者是活生生的人類，而非腳本程序。

Cloudflare 強調，這種驗證對真人幾乎是隱形的：沒有煩人的拼圖對齊和「找不同」大戰(zhàn)，甚至連多余的點擊都不需要。2023 年時他們還宣布要徹底淘汰視覺謎題式驗證碼，承諾「不再以任何理由給任何人看亂七八糟的拼圖」。

的確，新一代的 Turnstile 驗證既保障了安全，又讓用戶幾乎無感知通過，可謂一個隱形的守門人，在真人用戶和自動程序之間筑起一道分界線。

以往，驗證碼主要用來防范批量注冊、刷票、薅優(yōu)惠券這種腳本行為。但在 AI 大模型時代，驗證碼扮演的角色更加吃重，因為無處不在的 AI 爬蟲正試圖把整個互聯(lián)網(wǎng)當作自助餐。

各個 AI 爬蟲爬取的數(shù)據(jù)量. 圖片來自：Cloudfare

Cloudflare 的驗證系統(tǒng)則從設備完整性證明出發(fā)升級，結合行為分析、瀏覽器指紋和機器學習模型，來識別訪問者是正常用戶、良性爬蟲，還是偽裝的 AI 抓取工具。

一旦判定某次訪問屬于未經(jīng)授權的自動抓取，Cloudflare 要么讓其陷入無限驗證環(huán)節(jié)，要么干脆直接阻斷。

技術攔不住，法庭再相見

Cloudfare 為什么這個時候出來選邊站？

作為全球領先的 CDN 和網(wǎng)絡安全服務商，Cloudflare 在 2023 年的報告中估計，它每天要應對萬億級別的網(wǎng)絡請求，直接處理了全世界約 16%的互聯(lián)網(wǎng)流量，占據(jù)著全球約五分之一的網(wǎng)絡流量。

2024 年通過 IPv4 互聯(lián)網(wǎng)流向 Cloudflare 的流量聚合情況

當這樣一個守門員開始對 AI 說「不」，其影響可想而知——而眼下，AI 廠商在版權戰(zhàn)爭中占取上風，接二連三地贏下訴訟。

Anthropic 在使用了數(shù)百萬本書籍訓練模型后，被告上法庭。最近出爐的裁決認為，他們的行為符合「合理使用」的原則——這項法律原則允許在某些情況下，無需獲得所有者許可即可免費使用受版權保護的內容。

Meta 也打了勝仗。在應對作家們的集體訴訟中，加州聯(lián)邦法庭裁定 Meta 勝訴。不過，這個勝利來得比較僥幸，能勝主要是因為原告的「訴訟點」提得不夠好，在法律層面不夠有力，因此法官也表示「這項裁決并不代表 Meta 使用受版權保護的材料訓練其語言模型是合法的。」

找個好律師真是很重要啊。

在 AI 模型對網(wǎng)頁內容的胃口與日俱增的背景下，驗證碼系統(tǒng)儼然成為抵御「大數(shù)據(jù)采集狂魔」的一道防線。如果沒有這層把關，AI 爬蟲們恣意爬網(wǎng)的行為不僅可能把網(wǎng)站服務器搞得不堪重負（它們的高頻抓取甚至被比作 DDoS 攻擊），內容創(chuàng)作者的成果，更加是在不知情間就被拿去「喂 AI」。

如今有了 Cloudflare 的攔截機制，網(wǎng)站主至少有了一套可以用來自我保護的武器。

互聯(lián)網(wǎng)格局如何改變

對于普通網(wǎng)民來說，這場關于 AI 爬蟲的風波聽上去很「大」，但日常上網(wǎng)時的體驗并不會有明顯變化。

Cloudflare 的 Turnstile 驗證本就以「隱身」著稱，不會像舊式驗證碼那樣頻繁跳出來考你識別交通燈和樓梯。因此，即便現(xiàn)在把 AI 爬蟲視作眾矢之的，也不代表我們上網(wǎng)時要遭更多復雜考驗——Cloudflare 不會開倒車。

倒是那些試圖冒充人類的 AI 爬蟲們，恐怕要開始頭疼如何通過這道檢驗了——換句話說，驗證碼系統(tǒng)的功能重心已經(jīng)悄然轉變。

以前，網(wǎng)站加驗證碼主要是為把關「腳本」和惡意機器人，而現(xiàn)在 Cloudflare 明顯是在有意識別并阻擋特定的 AI 爬蟲。

有數(shù)據(jù)顯示，Cloudflare 的自動化識別技術可以準確地區(qū)分真人流量和 AI 爬蟲流量，這表明其驗證碼背后的目標已從一般性防護升級為專門針對 AI 數(shù)據(jù)抓取。可以說，原本驗證人機的「小考」，如今背后多了一層「篩查 AI」的使命。

在我們看來頁面秒開、一片風平浪靜時，Cloudflare 早已在背景里盤查過：「這是正常人類，通過」；「那是 GPT 的爬蟲，攔下來」。這種場景，如今每一分每一秒都在互聯(lián)網(wǎng)的底層跑道上真實上演。

這樣高調封殺未授權 AI 爬蟲，表面理由是為內容創(chuàng)作者討回公道——畢竟 AI 公司過去一直在大吃特吃「霸王餐」，侵占內容卻不給創(chuàng)作者流量和報酬，即便后者鬧到法庭上，也不見得能求得公道。

不過，與此同時，Cloudflare 順勢推出了讓 AI 公司付費爬取內容的功能和平臺，實行按次付費爬取 (Pay Per Crawl) 的方式。這項新功能允許特定出版商和創(chuàng)作者向 AI 公司收取訪問其內容的費用。參與者可以為單個爬蟲程序設定價格，從而完全控制其作品如何以及是否用于 AI 模型訓練。

這意味著 Cloudflare 正在將自己的安全防護網(wǎng)，升級為 AI 時代的「收費關卡」。以前 AI 爬蟲橫行時，內容網(wǎng)站幾乎無從談判，AI 公司想抓就抓，頂多背負一些道德譴責。而現(xiàn)在，Cloudflare 替網(wǎng)站堵上了大門，讓 AI 公司不得不停下來說：能不能讓我進來抓點數(shù)據(jù)？價格好商量。

這種轉變無疑改變了網(wǎng)絡內容的利益分配格局，為出版社、媒體、創(chuàng)作者等網(wǎng)站主提供了籌碼。而 Cloudflare 則居中扮演了至關重要的「基礎設施」角色。

正如 Cloudflare CEO 所說，他們希望建立的是多方共贏的新模式，幫助創(chuàng)作者決定是否允許所有 AI 爬蟲、允許特定的爬蟲或設置自己的訪問費用，將以前未貨幣化的內容使用轉變?yōu)樾碌氖杖雭碓础?/p>

當然，在這個模式里，Cloudflare 自己也扮演了角色：一邊替內容提供方把門，一邊替 AI 公司帶路，中間這一來一回，就可以收點服務費手續(xù)費之類了。

可以預見，隨著這一機制推廣開來，AI 公司要想抓取海量網(wǎng)絡內容訓練模型，恐怕得先準備好「買路錢」。畢竟，手握著全球五分之一網(wǎng)絡流量「安檢閘口」，Cloudflare 無疑已經(jīng)為這筆潛在的生意打好了基礎。

眼下可以確定的是，Cloudflare 已經(jīng)把「我不是機器人」升級成了 AI 爬蟲面前的一道高門檻。這道門檻背后，既有守護互聯(lián)網(wǎng)內容生態(tài)的用心，也不乏精明的商業(yè)算計。

下一次你輕松通過自動驗證時，柵欄抬起的另一側，某個 AI 爬蟲可能正在被攔下來——想過，先去交個過路錢吧。

來源 | APPSO（ID：appsolution）

作者 | Selina ; 編輯 | 呼呼大睡

內容僅代表作者獨立觀點，不代表早讀課立場