摘要
Google、Microsoft、OpenAI、Anthropic 已同意共用一个 robots.txt 策略令牌 __usage_ai-training 来表达"禁止用于模型训练"，试图让站长用一条指令替代逐家爬虫配置。但落地时间从"已开始实施"到"2027年"不等，Microsoft 明确 2027年2月1日起才执行，Google 目标 2027 年；该令牌只管内容用途、不管抓取，也不追溯已收集内容。
事件
该机制出自 Anthropic 的 Kevin Kelley 提交的 Internet-Draft，做法是在 robots.txt 某条 User-Agent 组的 User-Agent 行中附加策略令牌 __usage_ai-training。IETF 的 AI Preferences 工作组将"训练"定义为改变生成模型已学到的参数，因此仅用于分类、排序等任务的模型不在定义范围内。
四家厂商的公开表态存在明显时间差：
Anthropic：已开始实施
OpenAI：计划在未来数月内实施
Microsoft：2027年2月1日起开始遵守
Google：目标 2027 年
状态层面同样需要打折：IETF 跟踪系统将该文档列为 individual draft（个人草案），明确未经 IETF 认可、无正式地位，且若不在 2027年5月3日前修订即自动失效。
机制边界（最容易被误读的部分）
草案本身写明，该策略令牌不是抓取行为的指令。爬虫仍可继续抓取页面；只有那些"为训练而抓、且内容无法被使用"的爬虫才可能跳过。三条边界需要记住：
只管用途，不管准入。想让某个爬虫不进站，仍要写 Disallow。
默认允许训练。不写令牌等于允许，不是默认禁止。
不追溯。已经收集走的内容不受新令牌约束。
Google、OpenAI、Anthropic 均表示原有的逐爬虫控制继续有效。
对站长与建站平台的实操含义
双轨配置仍是最稳妥做法：短期继续按爬虫逐一配置——GPTBot／OAI-SearchBot／ChatGPT-User、ClaudeBot／Claude-Web／anthropic-ai、Google-Extended、PerplexityBot、CCBot、meta-externalagent／Meta-ExternalFetcher、Applebot-Extended、Bingbot 等；同时把 __usage_ai-training 提前写进 robots.txt，等厂商陆续生效后自动接住。
训练退出不等于 AI 搜索退出：屏蔽 Google-Extended 只影响训练，AI Overviews 与 AI Mode 走 Googlebot 正常索引，仍可被引用；反之允许训练也不保证被引用。做 AIWO 的站点必须把"训练"与"答案引用"两条链路分开规划。
企业官网的默认立场要写进规范：内容型、资讯型站点若靠授权与流量变现，建议训练侧保守、引用侧开放；产品官网则可两者皆开放，换取更多被引用机会。
平台方需关注草案失效风险：2027年5月3日前若草案未更新，依赖它的自动化配置需要回退到逐爬虫清单，建站系统应保留这一降级路径。
规范信息
文件性质：Internet-Draft（个人草案），未获 IETF 认可，无正式标准号，标准号标注为未披露
发布日期：2026年11月（草案公开期，具体版本号未披露）
生效日期：无统一生效日，按厂商分表执行（Anthropic 已实施；OpenAI 未来数月；Microsoft 2027年2月1日；Google 目标 2027 年）；草案 2027年5月3日若未修订即失效
原文出处
Dataconomy（2026-11-09 报道四厂表态与时间表）：https://dataconomy.com/2026/11/09/google-microsoft-join-ai-training-opt-out-plan-for-websites/
OPTYX 平台信号流（2026-11-13 11:06 UTC 更新"AI Training Opt-Out Timelines Diverge"）：https://thekingofsearch.com/signals/
标签：AIWO、AI可见度、AI搜索优化、robots.txt、AI爬虫