Cloudflare 新規出爐，混合 AI 爬蟲將批量遭攔截

**Cloudflare 新規出爐，混合 AI 爬蟲將批量遭攔截**

內容平台與 CDN 龍頭 Cloudflare 近日發布一項服務新規，要求所有 AI 相關廠商在 9 月 15 日前，徹底區分「搜尋引擎爬蟲」與「訓練或代理專用爬蟲」。若爬蟲同時肩負檢索與訓練任務、屬於未經分類的混合型，一旦嘗試存取附帶廣告的頁面，就會被系統自動攔截。這項規定不僅適用於新入駐的客戶，也涵蓋既有使用者新建的站點，同時針對所有免費用戶全面生效，可說是近年來針對 AI 爬蟲最明確的政策調整。

過去一段時間，許多 AI 公司為了快速累積訓練資料，往往讓自家爬蟲同時執行內容索引與模型訓練，甚至利用同一批爬蟲模仿真實使用者行為來繞過防護。此舉不僅導致網站流量異常、廣告收益被稀釋，也讓內容創作者與平台業者難以區分「正常搜尋」與「未授權資料擷取」。Cloudflare 此次強制分類，正是要打破這種灰色地帶，要求爬蟲行為更透明，並賦予網站管理者更精細的控制權。

若網站管理員希望放行特定混合爬蟲，必須手動修改後台配置，這意味著過去「一鍵允許」的模式將不復存在。對於已經習慣依賴混合爬蟲來快速抓取資料的 AI 廠商來說，新規上路後，若不盡快調整基礎設施，可能在 9 月中旬面臨大規模的存取失敗，進而影響模型訓練進度或即時資訊更新。此外，雲端服務商與 CDN 業者的營運成本也可能因為需要額外驗證爬蟲類型而小幅上升。

從產業影響來看，這項政策可能帶動其他 CDN 與網安服務商跟進，形成更嚴格的 AI 爬蟲管理標準。對於內容網站與電商平台而言，廣告收入可望因爬蟲流量泡沫被排除而回升；但同時，若過度封鎖，也可能誤傷合法的學術研究爬蟲或開源資料集蒐集工具。建議網站經營者近期應主動檢視 Cloudflare 後台的爬蟲清單，熟悉新規的設定選項，避免因預設攔截而影響網站正常露出。

讀者可以持續關注以下幾個後續發展：第一，AI 廠商是否會在期限前大規模更新爬蟲代理，並公開其爬蟲分類標籤；第二，Cloudflare 是否會進一步推出「白名單」或「付費專用通道」等配套方案，讓廠商有更多彈性；第三，其他主要雲端服務商如 Akamai、Fastly 是否會跟進類似政策，形成業界共識。這次新規不只是一次技術調校，更可能是內容與 AI 之間權利義務關係重新定義的開端。