搜索引擎爬虫 标签归档 - 永夜 没有不值得去解决的问题，也没有不值得去学习的技术！ Fri, 18 Sep 2026 07:40:09 +0000 zh-Hans hourly 1 https://wordpress.org/?v=7.1.1 https://media.shuijingwanwq.com/2026/05/logo-150x150.png 搜索引擎爬虫 标签归档 - 永夜 32 32 Cloudflare AI 爬虫新策略配置：保留 Google/AI 搜索，禁止内容用于模型训练 https://www.shuijingwanwq.com/2026/09/18/27646/ Fri, 18 Sep 2026 07:40:08 +0000 https://www.shuijingwanwq.com/?p=27646 Cloudflare 于 2026 年 9 月更新 AI 爬虫管理策略，将原本较笼统的 AI Bot 控制细分为 Search、Agent 和 Training 三类。本文记录实际配置过程：保持搜索引擎与 AI Agent 正常访问，将 Training 设置为 Disallow，并启用 Bot Preference Sync，在尽量保留 Google、Bing、ChatGPT、Claude、Perplexity 等搜索与实时发现能力的同时，限制纯模型训练 crawler。文章同时结合 AI Crawl Control 验证实际阻止状态，并记录 Claude-User 受全局策略控制、无法单独放行的现象。

Cloudflare AI 爬虫新策略配置：保留 Google/AI 搜索，禁止内容用于模型训练最先出现在永夜。

]]>