北京
7月1日，Cloudflare悄然把那個“阻止所有AI爬蟲”的統一開關，拆成了搜索、代理、訓練三個獨立類別。從9月15日開始，這些分類將產生實質影響：凡是在顯示廣告的頁面上，代表用戶實時抓取網頁的代理爬蟲和用于模型訓練的數據采集器，都會被默認拒絕而搜索類爬蟲則繼續放行。這一變化適用于所有新接入Cloudflare的域名、現有客戶新創建的站點，以及全部免費層用戶。
Cloudflare給出的理由帶著一種交易式的冷峻感：廣告是一頁內容希望被人類點開的證據，搜索爬蟲能把讀者帶回頁面，算得上一種引流，可以被寬待；但代理爬蟲讀完信息后把答案遞給另一個不在頁面的人，這就是另一種行為，不再是引介。把它和未經授權的訓練歸入同一類默認拒絕，是認為這兩類都缺乏對頁面擁有者的直接回報。
這個邏輯在開發者群體里迅速引出兩種對立的聲調。一面是認可，認為這是在保護靠廣告存活的內容生產者，防止AI不付代價地“借用”一手信息。另一面則是深深的焦慮——當下大量企業級應用，從競品價格監測、供應商公告抓取到客服拉取產品技術參數，都建立在“開放網絡默認暢通”的前提下。Cloudflare自身處在一個特殊位置：大量全球網絡流量經過它，而且它的攔截作用在網絡層落地，不像robots.txt那樣能被爬蟲擅自忽略。那些以新聞、評測、定價信息為核心的廣告支撐頁，恰恰是代理最想獲取的部分。對于企業代理來說，最差的結果不是接到一紙訴狀，而是模型突然沉默，或者用一個只能觸及到殘碎信息的答案糊弄使用者。
還有一重復雜性來自Google。Googlebot把搜索抓取和訓練采集合并在同一個爬蟲身份里，如果某個網站因為想擋住訓練而拉黑它，搜索的收錄也會一并消失。Cloudflare的首席執行官馬修·普林斯公開表示，希望這次分級設定“能鼓勵那些混用爬蟲把搜索、代理和訓練分開”，措辭客氣，但所施加的壓力正是設計這一機制的本意。
我的判斷是，Cloudflare這一步其實在給爬蟲的行為透明化立規。對正在運行代理的人而言，眼下最關鍵的動作不是糾結理念對錯，而是核查自己的Cloudflare賬戶下哪些行為會被自動歸入Agent類別，因為這種分類是行為層面的，并不看你是否自稱“爬蟲”，只要實時為用戶瀏覽抓取網頁，就會被圈住。與其等覆蓋范圍悄悄衰減，不如提前為關鍵數據源建立清晰的許可路徑，讓代理的抓取從“默認通行”變成“有據可依的訪問”。至于Googlebot這類歷史包袱如何解開，還得由行業間的博弈來推動，但方向已經劃出來了。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
