Cloudflare 上線新設置：允許搜索引擎爬取，同時拒絕 AI 訓練
AI資訊AI新聞資訊正文Cloudflare 上線新設置：允許搜索引擎爬取，同時拒絕 AI 訓練發佈於AI新聞資訊發佈時間 :2026年9月16號 16:37閱讀 :1分鐘Cloudflare 宣佈推出新設置“Disallow AI Training”，允許管理員繼續接受搜索引擎爬取，同時拒絕網站內容用於 AI 訓練。蘋果、谷歌和微軟已承諾遵守該設置。網站管理員啟用該設置後，Cloudflare 仍會允許用於搜索、AI 訓練的混合爬蟲抓取內容，但前提是系統將其標記為“Accountable”（可問責），其他 AI 訓練爬蟲仍會被攔截。官方表示，攔截這類爬蟲有可能影響網站的搜索排名。
Cloudflare 表示，大多數客戶無需進行任何更改：此前在 Training 中選擇“Block”或“Block on pages with ads”的網站，會自動遷移至“Disallow AI Training”。此外，谷歌將在未來幾周推出 Google-Extended 的 URL 層級透明度工具，蘋果也在開發自己的 URL 層級工具，微軟則計劃於 2027 年初支持通過 robots.txt 拒絕 AI 訓練。相關推薦印度法院給 OpenAI 撐了腰：用新聞訓練 AI 不侵權，臨時禁令會掐死本土大模型印度德里高等法院裁定OpenAI使用亞洲國際新聞社內容訓練AI不構成侵權。
法官提出兩點：一、該行為屬研究類“合理使用”例外；二、原告未能提供侵權證據。此判例在印度為AI訓練付費爭議劃出明確偏向。2026年7月29號 9:50182.6kCloudflare聯手OpenAI，AI搜索技術迎來新突破Cloudflare與OpenAI啟動研究試點，旨在利用Cloudflare全球網絡數據，提升AI搜索引擎檢索內容的實時性與準確性。此舉將助OpenAI模型快速捕捉網絡最新動態，攻克生成式AI信息獲取難的關鍵痛點。2026年7月9號 10:14237.
9kCloudflare 出臺爬蟲管控新規，9 月 15 日起默認攔截 AI 訓練類爬蟲訪問廣告頁面Cloudflare 7月1日更新爬蟲規則，標記搜索、AI代理、訓練等行為，定於2026年9月15日起默認攔截AI類爬蟲訪問含廣告頁面。站長雖願被搜錄但需保護版權收益，而大量混合爬蟲難以區分。其管理器將識別爬蟲全部用途，任一被禁屬性即觸發攔截。2026年7月2號 16:02230.4k告別“一刀切”：Cloudflare 推出精細化 AI 流量管理，築起網站變現護城河網站主面臨AI爬蟲氾濫的兩難：既要搜索流量，又恐內容被竊或廣告被擾。
7月1日，Cloudflare推出AI流量管理工具，支持站長按爬蟲類型精細化管控，打破了過去“一刀切”式屏蔽的侷限，在保留搜索引擎曝光的同時，有效防止數據濫用。2026年7月2號 11:50364.5kCloudflare 新規出爐，混合 AI 爬蟲將批量遭攔截Cloudflare 發佈服務新規，要求所有 AI 廠商在 9 月 15 日前拆分搜索爬蟲與訓練／代理專用爬蟲。未區分的混合爬蟲訪問帶廣告頁面將被自動攔截。該規則對新入駐客戶、老用戶新建站點及全部免費用戶統一生效；網站管理員若要放行，須手動修改後臺配置，直接影響 AI 行業爬蟲規範。2026年7月2號 9:30210.
8k智啟未來，您的人工智能解決方案智庫English簡體中文繁體中文にほんご© 2026
Related
相關文章
無問芯穹與華環電子簽署戰略合作，共同探索國產異構算力AI基礎設施新方向
無問芯穹與華環電子簽署戰略合作協議，雙方將結合各自在AI軟體平台、網路通信與硬體研發的優勢，共同探索國產異構算力基礎設施的協同方案。此次合作聚焦於智算中心解決方案及「Token工廠」新模式，目標是推動計算、網路與AI原生基礎設施深度融合，為AI規模化應用提供高效穩定的支撐。
Jina AI Releases jina-ocr-v1: A 3.4B MoE Document Parser With Built-In Speculative Decoding for Low-Budget GPUs
Jina AI, part of Elastic, has released jina-ocr-v1, an end-to-end visual document parser. It takes PDFs, scans, tables, charts or invoices and returns clean Markdown in 1 pass. The model has 3.
優步全球範圍裁員 10%，被裁員工稱 AI 已大舉滲透日常工作
作者：清源 責編：清源 評論： 9 月 18 日消息，據《商業內幕》今天（18 日）晚間報道，在優步（Uber），AI 已經滲透到員工工作的許多環節，從回答 Slack 裡的內部問題，到替乘客行程中聯繫客服時收到的消息撰寫回復。6 名近期遭裁員的員工透露，過去幾個月，AI 在工作中的使用範圍明顯擴大，其中一些人甚至會通過提示詞讓 AI 完成相當一部分任務。
智譜 ZCode 被質疑“偷傳代碼”：官方回應稱問題已修復，將開源代碼庫、引入第三方審查
作者：清源 責編：清源 評論： 感謝網友 咩咩洋 的線索投遞！9 月 18 日消息，針對社區中有關代碼庫數據上傳的討論，智譜旗下編程產品 ZCode 今天（18 日）通過智譜官方群組向受影響用戶致歉，併發布回應稱已第一時間完成自查，相關問題目前已經修復。
月之暗面遞表之後，Kimi 的成色要被驗算三遍
舒澤品牌手記2026.09.18 18:16 · 來自浙江全文4982字00:00 / 14:05Anthropic 的 30 萬次指控，會成為招股書的第幾頁？文 | 舒澤品牌手記9月17日，月之暗面發佈了一套金融行業解決方案。按官方披露，中信建投、中金公司、易方達等數十家金融機構已經在用 Kimi 處理投研建模、風險排查和盡調材料——研究人員把管理層報表、審計報告和盡調文件交給 Kimi，拿回一份可以繼續調整假設的 Excel 模型。同一天，深圳商報記者就港股上市進展、股東架構調整等事項向月之暗面發去採訪函。
Calibre上手 AI 互動寫作：電子書管理器搖身變成"文字冒險遊戲引擎"
這個遊戲默認藏而不發，不會跟著 Calibre 啟動就冒出來。用戶得主動在"首選項 — 工具欄和菜單"裡把它請到主工具欄，才算真正激活。它的玩法很清晰:由 AI 在後臺搭起並掌管一個虛構世界，用戶通過不斷輸入文字來推著故事往前走，等於把"讀電子書"這件事，翻轉成了"和 AI 一起寫故事"。