AI大廠，突發利空

### AI大廠，突發利空

全球網路基礎設施巨頭Cloudflare在7月2日向所有人工智慧公司發出震撼市場的最後通牒。這家公司要求，在2026年9月15日之前，所有「搜尋引擎」爬蟲與「AI訓練數據或代理」爬蟲必須徹底分離。屆時，任何試圖以混合形式運作的爬蟲，也就是那些掛著搜尋爬蟲名義、實際上卻在盜取數據用於模型訓練的機器人，都將面臨Cloudflare的物理斷網與全局攔截。這個舉動等於是為整個AI行業上了一道難以繞過的枷鎖，背後的核心矛盾是一場圍繞數據利益的「分贓不均」。當市場的目光還停留在晶片巨頭輝達如何從硬體層面掌握所有AI公司的命脈時，網路基礎設施企業也意識到了自己同樣佔據著不可或缺的「賣鏟人」生態位。

它們不願再只做免費的賽博菩薩，而是決定出手改變遊戲規則。Cloudflare的角色可以看作是全球網際網路的「海關」或「高速公路收費站」。這家公司處理著全球約兩成的網路流量，提供內容分發網路、網域名稱系統、DDoS攻擊防護與Web應用防火牆等關鍵底層服務。過去十多年，它為無數中小型網站與個人部落格提供了免費且強悍的防護與加速服務，形象猶如一位慈眉善目的數位守護神。然而，如今這位守護神卻無法再容忍目前的亂象。根據Cloudflare的監測，2026年上半年，機器人與爬蟲的流量已經正式超越了人類流量。這個原本預測要到2027年才會出現的轉折點，因為AI代理的爆發而整整提前了一年。

按照目前的趨勢推估，短短五年內，機器與人類的流量比例將達到駭人的一千比一。當網際網路的主要使用者從人類變成AI時，原本運行了超過30年的底層商業秩序正面臨崩潰。過去，網際網路存在一套完美的雙贏生態契約：網站提供優質內容，搜尋引擎的爬蟲來抓取資料，作為回報，搜尋引擎將網頁收錄進索引池。當使用者搜尋相關問題時，搜尋引擎展示網站連結，流量倒流回網站，站長靠這些廣告流量獲利。但生成式AI的出現徹底破壞了這個契約。AI大廠的爬蟲掃蕩網站，將內容塞進大型語言模型進行預訓練，當使用者提問時，AI直接在搜尋介面輸出濃縮後的摘要。

第三方SEO社群與網路的審計數據顯示，OpenAI的GPTBot爬取一個網站約一千五百次，平均只能為該網站帶來一次點擊；而當搜尋結果出現AI摘要時，使用者點擊原始網站連結的機率暴跌至只剩百分之八，點擊AI摘要內部引用連結的機率更是低到僅有百分之一。這就是所謂的「零點擊搜尋」，AI幾乎拿走了所有價值，卻幾乎沒有給原創者留下任何回饋，完全是一場掠奪。然而，面對這種狀況，許多網站主卻陷入無解的囚徒困境。因為越來越多的AI爬蟲蓄意偽造身分，它們偽裝成會為網站帶來流量的搜尋引擎爬蟲，繞過robots.txt的限制，進行無限制的下載。

如果網站採取一刀切封鎖，那麼連正常的搜尋結果頁面都進不去；如果不封鎖，又只會被榨乾所有價值。此時此刻，作為全球最大的基礎設施保護者，Cloudflare的出手似乎成了唯一的公道。根據Cloudflare提出的新政策，他們將放棄過去人類或AI的二元分類，而是從行為動機出發，將自動化流量劃分為三個類別：一是「搜尋類」，為傳統搜尋引擎建立索引並為網站導流；二是「智能體類」，因應使用者即時提問觸發的檢索爬蟲；三是「訓練類」，進行無差別大規模數據抓取以進行模型預訓練。從2026年9月15日起，所有新用戶的設定將自動允許搜尋類爬蟲，但攔截後兩者。

如果AI公司不配合，繼續送出混合型爬蟲，Cloudflare將按照最嚴格的標準，百分之百全盤攔截，包括搜尋功能也會被禁止。為了對付強行偽裝的爬蟲，這家防DDoS起家的安全巨頭準備了多種手段：透過行為分析比對請求頭與TLS指紋；利用AI迷宮蜜罐技術，動態生成無限的虛假頁面讓爬蟲陷入死循環，消耗AI公司的算力與頻寬；甚至主導推出網路機器人身分驗證框架，要求合規的機器人必須向發布商自證清白。在這場風暴中，受創最深的將是OpenAI、Anthropic、Perplexity等演算法公司，它們將難以再像過去一樣自由地從中小網站與垂直社區獲取數據。

過去OpenAI已經拆分了自己的爬蟲，而全球搜尋龍頭Google則因為同時擁有搜尋與AI業務而面臨極其痛苦的選擇。長久以來，Google利用其超過九成的全球搜尋市場壟斷地位，讓自家的Googlebot暢通無阻，再將數據拿去餵養Gemini模型，沒有網站敢得罪它。Cloudflare甚至直接點名批評，正是這種將數據綁架在搜尋排名中的行為，讓同業陷入被動，導致這家搜尋巨頭掌握的資訊量是其他領先AI公司的兩倍之多。等到9月15日的截止日期到來，Google如果堅持不分拆Googlebot，將失去對全球兩成網頁的索引能力，搜尋品質將出現災難性下滑；但如果分拆，又將立刻面臨Gemini斷炊的危機。

這項政策等於是剝奪了Google利用壟斷地位綑綁獲取數據的特權。當然，這場正義之戰的背後，也離不開商業利益的驅動。Cloudflare並非只是無償維護網路正義，早在2025年7月，它就曾試水推出按爬取次數付費的機制，但效果不佳。如今藉著發出最後通牒的時機，Cloudflare正式推出了全新的貨幣化網關與按使用次數付費機制，透過數位指紋與API審計技術，判定AI回答引用了哪些網站的內容，並從中抽成作為過路費。

Cloudflare的執行長描繪的未來畫面是：每次存取網站取得資訊，使用者可能只需支付幾分之一美分，但作為基礎設施，必須能在第一天就支援每秒約一千萬筆的金融交易，未來更要擴展到比現有Visa網路還大兩個數量級。這項趨勢將導致AI模型的數據荒提前到來，且數據成本陡增。優質的公開網站數據不再能隨意白嫖，AI大廠必須擴大支出購買版權，無力負擔長期帳單的中小公司將被加速淘汰。與此相對，過去日漸被看衰的創作者經濟，則可能因此迎來復甦，創作者的收入來源將從依賴人類眼球廣告，轉變為向AI輸出高品質、高密度的語料。這次事件，本質上是一場網路原住民對AI野蠻掠奪的絕地反擊。