Cloudflare 上線新設置：允許搜索引擎爬取，同時拒絕 AI 訓練
AI資訊AI新聞資訊正文Cloudflare 上線新設置：允許搜索引擎爬取，同時拒絕 AI 訓練發佈於AI新聞資訊發佈時間 :2026年9月16號 16:37閱讀 :1分鐘Cloudflare 宣佈推出新設置“Disallow AI Training”，允許管理員繼續接受搜索引擎爬取，同時拒絕網站內容用於 AI 訓練。蘋果、谷歌和微軟已承諾遵守該設置。網站管理員啟用該設置後，Cloudflare 仍會允許用於搜索、AI 訓練的混合爬蟲抓取內容，但前提是系統將其標記為“Accountable”（可問責），其他 AI 訓練爬蟲仍會被攔截。官方表示，攔截這類爬蟲有可能影響網站的搜索排名。
Cloudflare 表示，大多數客戶無需進行任何更改：此前在 Training 中選擇“Block”或“Block on pages with ads”的網站，會自動遷移至“Disallow AI Training”。此外，谷歌將在未來幾周推出 Google-Extended 的 URL 層級透明度工具，蘋果也在開發自己的 URL 層級工具，微軟則計劃於 2027 年初支持通過 robots.txt 拒絕 AI 訓練。相關推薦印度法院給 OpenAI 撐了腰：用新聞訓練 AI 不侵權，臨時禁令會掐死本土大模型印度德里高等法院裁定OpenAI使用亞洲國際新聞社內容訓練AI不構成侵權。
法官提出兩點：一、該行為屬研究類“合理使用”例外；二、原告未能提供侵權證據。此判例在印度為AI訓練付費爭議劃出明確偏向。2026年7月29號 9:50182.6kCloudflare聯手OpenAI，AI搜索技術迎來新突破Cloudflare與OpenAI啟動研究試點，旨在利用Cloudflare全球網絡數據，提升AI搜索引擎檢索內容的實時性與準確性。此舉將助OpenAI模型快速捕捉網絡最新動態，攻克生成式AI信息獲取難的關鍵痛點。2026年7月9號 10:14237.
9kCloudflare 出臺爬蟲管控新規，9 月 15 日起默認攔截 AI 訓練類爬蟲訪問廣告頁面Cloudflare 7月1日更新爬蟲規則，標記搜索、AI代理、訓練等行為，定於2026年9月15日起默認攔截AI類爬蟲訪問含廣告頁面。站長雖願被搜錄但需保護版權收益，而大量混合爬蟲難以區分。其管理器將識別爬蟲全部用途，任一被禁屬性即觸發攔截。2026年7月2號 16:02230.4k告別“一刀切”：Cloudflare 推出精細化 AI 流量管理，築起網站變現護城河網站主面臨AI爬蟲氾濫的兩難：既要搜索流量，又恐內容被竊或廣告被擾。
7月1日，Cloudflare推出AI流量管理工具，支持站長按爬蟲類型精細化管控，打破了過去“一刀切”式屏蔽的侷限，在保留搜索引擎曝光的同時，有效防止數據濫用。2026年7月2號 11:50364.5kCloudflare 新規出爐，混合 AI 爬蟲將批量遭攔截Cloudflare 發佈服務新規，要求所有 AI 廠商在 9 月 15 日前拆分搜索爬蟲與訓練／代理專用爬蟲。未區分的混合爬蟲訪問帶廣告頁面將被自動攔截。該規則對新入駐客戶、老用戶新建站點及全部免費用戶統一生效；網站管理員若要放行，須手動修改後臺配置，直接影響 AI 行業爬蟲規範。2026年7月2號 9:30210.
8k智啟未來，您的人工智能解決方案智庫English簡體中文繁體中文にほんご© 2026
Related
相關文章
曝OpenAI拿下超6.7億年單！打“骨折”、送額度、配工程師，就為了搶Anthropic客戶
編譯 | 孫小雯 編輯 | 程茜 OpenAI和Anthropic為了搶用戶，最近又槓上了！10月30日，OpenAI剛將部分Pro套餐的ChatGPT Work和Codex額度翻倍；次日，Anthropic取消了已驗證Ultra賬戶的5小時用量限制，周限額保留。
英特爾與騰訊發佈基於至強6+的雲實例，曬智能體AI基礎設施全家桶
作者 | ZeR0 編輯 | 漠影 11月3日報道，近日，在2026騰訊全球數字生態大會上，英特爾與騰訊雲發佈基於英特爾至強6+處理器的騰訊雲新一代雲實例，並全面展示英特爾的芯片產品與雲端實踐。 全新至強6+處理器擁有最高288顆能效核，單顆處理器最高可支持超過1000個智能體的穩定部署，這也為騰訊雲服務器提供更高併發、更低時延、更優能效的雲端算力服務。
智元榮獲2026世界互聯網大會傑出貢獻獎
11月3日，2026年世界互聯網大會烏鎮峰會在浙江烏鎮隆重開幕，國務院總理李強出席開幕式並發表主旨演講。開幕式上，智元憑藉在具身智能領域的系統性技術突破與產業化實踐，獲頒世界互聯網大會傑出貢獻獎。智元合夥人、高級副總裁朱潔在領獎時表示：人工智能的終局，不在於屏幕與雲端，而紮根於工廠一線和尋常煙火。具身智能賽道的競爭，早已跳出單點技術的競速，轉向軟硬協同、工程化落地、產業組織與治理體系的綜合比拼。智元期待與各界同心同行，堅守務實，躬身落地。
電動車退燒、AI 儲能燒起來：LG 新能源把產能挪向數據中心
11 月 3 日，首席財務官李昌植在財報電話會上給出時間表：今年底軟包儲能系統（ESS）產能將超 50 吉瓦時，明年進一步拉到 70 GWh 以上。在他看來，電動車增速放緩之際，AI 數據中心的大規模新建為電池廠撕開了新口子——第三季度 ESS 在手訂單已達 160 GWh，公司正與電力企業、超大型數據中心運營商談新項目，今年 9 月還作為儲能供應商擠進了英偉達的 DSX Ready 計劃。
最高288核的至強6+，為了Agent高密度部署還下了哪些「雲功夫」？
作者 | 陳悅琳編輯 | 包永剛 一個智能體能順利完成任務，不代表成百上千個智能體就能同時高效運行。 對於承載大量智能體任務的雲服務器而言，除了提升計算速度，如何在任務集中到來時迅速準備好執行環境、怎樣減少暫時閒置的任務對內存資源的佔用，也成為亟待解決的問題。 對此，在一年一度的騰訊全球數字生態大會上，英特爾與騰訊雲聯合發佈了基於至強6+處理器的新一代雲實例，圍繞任務啟動效率、內存資源利用率等關鍵因素進行優化後，其綜合性能較上一代提升30%以上。
聯合國副秘書長點贊!千問AI耳夾式耳機亮相烏鎮互聯網大會
他認為，產品非常實用，適合自己日常工作中需要使用多國語言進行交流的場景。面對面交流時，用戶可以通過耳機收聽譯文;會議中的討論內容，也能通過AI聽記整理為結構化紀要，方便會後回顧。連接千問App後，用戶還可通過語音交辦資料研究等任務、接收完成提醒，讓耳機成為日常辦公的隨身助手。