賽博菩薩 Cloudflare，AI 爬蟲最嚴厲的父親

賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機構庫投資機構職位推介投資人認證投資人服務尋求報道36氪Pro創投氪堂企業入駐創業者服務創投平臺AI測評網 首頁快訊資訊推薦財經AI自助報道廣東最新創投汽車科技專精特新直播視頻專題活動搜索尋求報道我要入駐城市合作賽博菩薩 Cloudflare，AI 爬蟲最嚴厲的父親極客公園·2026年07月05日 12:07互聯網最大的「保安」，現在要當最大的「收銀員」了。 7 月 1 日，Cloudflare 發了一篇博客，標題很溫和，叫「你的網站，你的規則」。 但內容一點也不溫和——從 9 月 15 日起，所有使用 Cloudflare 的網站，默認屏蔽混合用途的 AI 爬蟲。 只要你的頁面上有廣告，AI 的訓練爬蟲和 Agent 爬蟲就進不來。 注意這個邏輯翻轉：以前是「默認允許，你可以選擇屏蔽」，現在是「默認屏蔽，你可以選擇允許」。 這是互聯網基礎設施層，第一次對 AI 數據獲取方式進行系統性「立法」。 做出這個決定的背景是一個標誌性的事件，互聯網上的 bot 流量，已經超過了人類流量。 Cloudflare CEO Matthew Prince 說，這個里程碑比所有人預期的都來得早，原本預計要到 2027 年才會發生。 換句話說，今天你打開的大多數網頁，「看」它們的主要不是人，而是機器。