Cloudflare 將一刀切 AI 機器人封鎖改為搜尋、訓練、Agent 爬蟲的精細控制
Decision Brief
變化Cloudflare 提供所有用戶細粒度 AI 機器人控制,可分別管理搜尋、訓練和 Agent 機器人,不再一刀切封鎖。
為什麼重要對網站管理員而言,區分訓練和 Agent 機器人並預設封鎖廣告頁面上的這類爬蟲,能更精準保護內容收益與主權。
誰該關注AI coding 工具使用者
受影響技術棧未識別出特定技術棧
來源可信度中 · 可靠媒體或一手報導
Cloudflare 宣布將對 AI 機器人的處理方式從原先的全面封鎖改為細粒度控制。所有站長現在可以分別管理三類機器人:搜尋(Search)、訓練(Training)和 Agent 機器人,不再需要一次全部封鎖。自 2026 年 9 月 15 日起,在有廣告的頁面上,Training 和 Agent 機器人將預設被阻擋。 這項更新直接影響依賴網站內容的第三方 AI 開發者與數據中介。使用 Cloudflare 的站長可以更靈活地決定哪些 AI 爬蟲可以訪問,避免誤傷合法搜尋引擎的同時,有效抵禦未經授權的訓練數據收集和自動化代理行為。
摘要依據:官方/RSS 來源詳摘依據上方標註的來源範圍整理,內容以原文為準。
來源
- The Decoder:AI News
- The Decoder:AI News