北京
凌晨三點，你被監控警報炸醒：源站CPU 100%，數據庫連接池耗光，可后臺顯示并沒有秒殺活動。查過日志才發現，是一批AI購物代理正在實時抓取每個商品SKU——價格、庫存、描述，一遍又一遍。它們不是惡意攻擊，而是真人用戶在某個對話界面里問了一句“這款值不值得買”，代理就直沖你的服務器來取答案。問題在于，這個“用戶”可能永遠不會點進你的網站。
Cloudflare剛剛發布的《2025年度回顧》里有一組數字很值得玩味：由用戶直接觸發的“行動式爬取”，全年暴漲超過15倍，僅1月初到12月初就飚了21倍還多。和傳統搜索引擎按自己時間表過來抓索引不同，這種請求是實時的、和真人等待綁在一起的，而且根本沒有“一次抓取→多個訪客”的承諾。等于你替別人的AI買單，還不一定換得來流量。
更讓人血壓上升的是抓取與引薦的畸形比例。Cloudflare的報告點名Anthropic家的爬蟲，最高來到50萬次抓取才帶回一個訪客，而Perplexity的比例最低。這中間跨度巨大，但指向同一個結論：被抓取和被推薦買單，完全是兩本賬。零售商家必須專門為“被扒”這部分算力費用設預算，否則月末的云計算賬單很可能讓你懷疑被DDoS了。
零售業想躲都躲不開。報告明確寫道，零售與計算機軟件是被AI爬蟲盯得最狠的兩個行業，合計攬走超過40%的AI爬蟲活動。如果你在網上賣東西，你就是那波“最受傷”的群體。這不是危言聳聽，是你的真實成本。
那該怎么辦？原文給出的原則很干脆：每一個負載數據，都是讓你更聰明地實現緩存，絕不是讓你把門摔在可能選擇你的代理臉上。以下幾條要點，就是給運維和研發那條“不破產還能保持開放”的路徑。
① 分清兩類爬蟲，別拿實時當索引
計劃性的搜索爬蟲，時間調度可控，一次抓取后期可能引來潮水般的免費流量；而由用戶提問觸發的代理抓取，成本波峰尖銳且回報毫無保證。兩者壓在后端上的賬單邏輯截然不同，混在一起處理，只會讓你高估了抗壓能力，低估了真實開銷。
② 邊緣節點把靜態頁面喂飽，動態數據短鏈更新
把那些幾乎不變化的機器可讀表面——llms.txt、Markdown鏡像、產品描述長文、Feed——全部推到邊緣緩存。價格和實時庫存保持極短的過期時間，絕不給代理機會引用一個過期的報價。這樣既能保護源站計算資源，又不會讓購物者看到“已經沒貨”的商品還被AI助手推薦。核心策略：便宜而靜態的信息讓CDN扛，珍貴且新鮮的數據才回頭調源站。
③ 訪問控制是限流假貨，不是跟著用戶代理換內容
原文特別強調：對未經核驗的偽造爬蟲進行速率限制，這叫訪問控制；而根據用戶代理給出不同頁面內容，那是偽裝欺騙，搜索引擎判你一抓一個準。正確的做法是，建立已驗證代理的白名單，保證正牌購物代理和問答機器人一路暢通，把限流刀鋒只對準那些冒名頂替的偽爬蟲。不要弄巧成拙，把真正能推薦你的渠道一并堵死。
說到底，原文中的那句話就是主線：“本章關乎如何負擔得起開放，而非封鎖代理。” AI代理狂奔的時代，你的源站不可能也不應該退回到一道墻后面。把緩存策略和訪客控制做得精細一點，讓邏輯替你的服務器減負，而不是用情緒把潛在的推薦機會拒之門外。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
