标签： 搜索引擎爬虫

Cloudflare 于 2026 年 9 月更新 AI 爬虫管理策略，将原本较笼统的 AI Bot 控制细分为 Search、Agent 和 Training 三类。本文记录实际配置过程：保持搜索引擎与 AI Agent 正常访问，将 Training 设置为 Disallow，并启用 Bot Preference Sync，在尽量保留 Google、Bing、ChatGPT、Claude、Perplexity 等搜索与实时发现能力的同时，限制纯模型训练 crawler。文章同时结合 AI Crawl Control 验证实际阻止状态，并记录 Claude-User 受全局策略控制、无法单独放行的现象。