當AI聊天機器人、AI搜索受到越來越多用戶的青睞，AI廠商與內容創作者的矛盾已然不可調和，AI時代的流量爭奪戰迎來了全線升級，“AI摘要”劫持流量更是成為內容創作者拒絕接受的現實。這時候，云服務提供商Cloudflare選擇與內容創作者站在一起，不久前宣布將默認阻止AI爬蟲在未經網站所有者許可或補償的情況下抓取其內容。

為了實現這一愿景，Cloudflare CEO馬修·普林斯透露目前正在與谷歌進行談判，要求后者將傳統搜索引擎的爬蟲與AI爬蟲分離，使得網站可以按照自身需求決定是否屏蔽AI爬蟲、以避免自己的內容被抓取后生成AI摘要。Cloudflare方面聲稱，如果最終的結果是谷歌拒絕分離爬蟲，他們將考慮推動立法來強迫對方必須分離。

那么Cloudflare憑什么與谷歌談條件呢？這是因為作為CDN提供商，他們的競爭力來源于在全球擁有超過152個數據中心構成的專用高容量光纖網絡，為全球用戶提供了一個低成本、乃至免費接入公開網絡的能力。到目前為止，全世界有20%的互聯網流量都經過了該公司的網絡代理，他們也是現在全球最大規模的對等連接網絡（P2P網絡）之一。

活躍在Cloudflare網絡上的成百上千萬個網站和App就是他們的底氣，但僅憑這一點就想讓谷歌屈服也不現實。畢竟AI搜索是谷歌的未來，一旦AI爬蟲無法抓取內容，它的市場競爭力就勢必會斷崖式下降。事實上，以The Information為代表的海外科技媒體也不太看好Cloudflare，他們認為Cloudflare顯然無法阻止谷歌從網站上抓取數據、用于其AI產品。

再加上推動立法來強制谷歌分離AI爬蟲需要動輒數年時間，即便真的等到立法完成，估計許多網站和內容創作者已經被AI廠商“趕盡殺絕”。

既然如此，為什么Cloudflare要做這種近乎于行為藝術的操作呢？答案是他們其實就是在作秀，并且從一開始就不是為了給內容創作者伸張正義，而是為了自己的Pay Per Crawl平臺。

Pay Per Crawl是Cloudflare推出的一個交易市場，為內容創作者和AI廠商提供了一個撮合交易的場景。為了Pay Per Crawl，早在一年前Cloudflare就宣布，為使用其服務的網站提供AI審計工具 (Cloudflare AI Audit) ，向網站站長報告AI廠商的爬蟲何時訪問網站、抓取數據的IP地址、抓取頻次，以及其他相關數據。

要知道一個交易平臺想要成功，買賣雙方的認可才是關鍵?？涩F在的情況是作為賣方的內容創作者、網站站長對于Pay Per Crawl有著迫切的需求，可買方AI廠商則不然。

在目前的條件下，一般的網站其實很難抵御AI爬蟲的抓取，只能提供“軟約束”的robots.txt更是已經成為廢紙。同時AI直接將內容濃縮為摘要的行為，讓用戶根本就不需要點擊原文，從而導致了網站的流量下降、廣告收入銳減。

根據Cloudflare本月初發布的的最新統計數據顯示，谷歌搜索的爬蟲大約每6至7次抓取會給網站帶回1次點擊，而OpenAI的爬蟲GPTBot則是1500次才能換來1 次跳轉，Anthropic的爬蟲ClaudeBot效率更低，達到了73300次換1次。顯而易見，AI大廠與內容創作者之間基于內容創作、分發和廣告/訂閱收入的商業模式，已經被動搖。

可是已經習慣免費爬取內容的AI廠商即便是想付錢，顯然也不愿意讓Cloudflare作為中間商賺差價。事實上，為了應對AI搜索可能會給網站帶來的沖擊，谷歌已經推出了Offerwall工具，允許站長為網站的用戶提供多種內容訪問方式，諸如小額支付、參與調查、觀看廣告等選項都可以選擇。

不同于按次付費爬取的Pay Per Crawl，Offerwall實現付費的方式是讓網站直接通過向用戶兜售小額支付，以獲得數天的內容訪問權，或者通過激勵廣告的形式變現。簡而言之，對于AI時代的內容付費，Cloudflare選擇了流量變現模式，谷歌則走的是付費訂閱。

不難發現，對于用戶為內容付費這件事，流量變現和付費訂閱是非此即彼的關系。因為內容創作者不可能將一份內容變賣兩次，選擇Offerwall就意味著拒絕Pay Per Crawl。所以Cloudflare為了把Pay Per Crawl做起來，必須盡一切可能讓更多人知道該他們正在為內容創作者“主持公道”。

【本文圖片來自網絡】