导语： 10 月 30 日，Google、微软、OpenAI、Anthropic 同日接受同一个 robots.txt 策略标记 __usage_ai-training，网站终于可以一次声明"别拿我训练"；但从草案到真正生效，最晚要等到 2027 年 2 月 1 日，而这行字该由谁写、写在哪，恰恰是建站平台最不擅长的一环。
一、基本信息
| 项目 | 内容 |
|---|---|
| 标准草案 | draft-kelley-aipref-training-preference-signal-00（IETF，Intended status: Standards Track） |
| 草案发布日期 | 2026-10-30（作者 Kevin Kelley，Anthropic；有效期至 2027-05-03） |
| 厂商表态日期 | 2026-10-30 同日：Google Search Central、微软必应博客、OpenAI 政策页；Anthropic 同日向 IETF AI Preferences 工作组提交草案 |
| 影响版本 | 所有遵循 RFC 9309 的 robots.txt 解析器与生成器（CMS、建站 SaaS、SEO 插件） |
| 技术风险等级 | 低——不改语法、不新增指令名、不影响既有抓取规则 |
| 策略风险等级 | 中——Google 明确：用该标记退出训练，等于把 Google-Extended 设为 Disallow，可能同时失去 Gemini 里的引用资格 |
二、变了什么：一行策略标记，替掉一串厂商名单
草案没有发明新语法。它只是在 robots.txt 原本写爬虫名的位置，写一个"用途标记"，然后照常用 Allow / Disallow 表达偏好：
User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/
意思是：全站不接受用于 AI 训练，但 /press-kit/ 目录例外。路径匹配、最长匹配优先级、group 结构全部沿用 RFC 9309，老解析器读到这段只会当成"不认识的 user-agent"，行为不变。
这份草案最值得注意的不是"多了一个退出开关"，而是四条极易看错的技术细节：
通配符不算数。
User-Agent: *组不会被解读为训练偏好。你就算已经写User-Agent: * / Disallow: /，也必须显式写出__usage_ai-training，否则等于什么都没说。它管"用途"，不管"抓取"。 该标记不是爬虫的请求标识，不阻止抓取；要拦访问，仍得针对具体爬虫或上访问控制。草案第 4.3 节明确：消费者必须照旧解释发给自己产品 token 的规则，本机制不改变抓取信号。
"训练"有严格定义。 指用内容修改生成式模型的学习参数；仅用于分类、排序、打分的模型训练不在覆盖范围。
不追溯。 只影响未来采集，已被吃进训练集的旧内容不会被删除。四家也没有承诺主动清理。
三、为什么重要：退出信号从"双边谈判"变成"公共协议"
过去两年，内容站面对 AI 爬虫是不对称的：要拒绝，得逐家认爬虫、逐家配规则、逐家谈授权。对中小站和垂直媒体，这个合规成本几乎不可承受。
现在四个主要买家坐到了同一张桌子上，把"是否允许训练"压缩成一个机器可读的信号。更关键的是，欧盟《通用人工智能行为准则》已把 robots.txt 认可为发布方表达机器可读偏好的主要方式——Google 在官方说明里直接点了这一条。这意味着 robots.txt 不再只是 SEO 文件，而是合规文件。
但必须说清楚：它解决的是"表达"，不是"授权"。 写下退出标记不等于与任何厂商签了许可合同，也不产生收益分配；反过来，不写标记也不等于授权。草案没有强制力，不遵守的爬虫照样抓。
各家的落地时间表并不一致，这是实操中最容易踩空的地方：
| 厂商 | 表态 | 生效时间 |
|---|---|---|
| Anthropic | 已开始实现支持 | 已支持（2026-10-30 起） |
| OpenAI | 官方页面表示将采用 | "未来数月内"，未给具体日期 |
| 官方博文 + 爬虫文档注释 | 2027 年初（early 2027） | |
| 微软（Bing） | 必应博客同日表态，另提供"训练"与"grounding"独立设置 | 2027 年（PPC Land 报道为 2027-02-01，二手口径） |
| Meta | 公开肯定通用信号 | 未披露 |
（时间表来源：Google Search Central 2026-10-30 博文、Google 爬虫文档 changelog、Search Engine Roundtable 2026 报道、PPC Land 汇总；查询日期 2026-11-04）
四、对站长和开发者的动作项：先把"谁能写这一行"查清楚
这才是 CMS 行业的真问题。标准已经定了，但写这一行的地方，往往不在你的建站后台。截至 2026-11-04 检索，主流建站平台与 SEO 插件均未见针对该 token 的产品级开关，官方文档里也没有对应说明。实操只能落到三个位置：
| 平台 | robots.txt 由谁生成 | 改法 | 备注（查询日期 2026-11-04） |
|---|---|---|---|
| WordPress | 核心虚拟生成（不落盘） | robots_txt 过滤器（3.0.0 起引入），或 SEO 插件的文件编辑器 | 直接改服务器上的 robots.txt 文件通常无效 |
| Shopify | 平台默认生成，可被主题模板覆盖 | 主题代码里新增 robots.txt.liquid | 模板一旦加入，完全替代平台生成的输出，需逐行比对 |
| Wix | 平台生成 | 后台「SEO 与 GEO → 工具和设置 → Robots.txt 编辑器」 | 可直接粘贴；改动立即生效，缓存由搜索引擎下次抓取时更新 |
| Webflow / Squarespace | 平台生成，后台可编辑 | 站点设置中的 SEO / robots.txt 项 | 按套餐权限开放，未披露 token 专门支持 |
| Strapi / Payload / Ghost 等自建 | 由你或反向代理输出 | 构建时写死，或 Nginx 层返回 | 自由度最高，也最容易在升级中被覆盖 |
给三类人一句直话：
内容站 / 媒体：现在就可以加，但别指望 11 月生效——Google 要 2027 年初，微软要 2027 年。建议先在测试站写好、留档，2027 年 Q1 再上线，同时保留
Google-Extended的独立配置，别把"退出训练"和"退出 AI 搜索引用"混为一谈。外贸站 / 电商：谨慎。你的核心诉求是被 AI 搜索引用、被回答引擎推荐，而不是拒绝训练。Shopify 商家不要急着重写
robots.txt.liquid，模板一上就等于接管全站输出，改错会把商品页一起封掉。给客户交付的建站服务商：把这条写进交付清单。现在没有平台开关，谁能在客户后台稳定、可复现地写进这一行，谁就多一个可售卖的合规项。
五、结论
这条标准的工程质量其实很高：不新增语法、不动语义、向后兼容、路径可细分，还刻意用 __ 前缀避免误匹配——这是懂部署现实的人写的草案。
但它把最难的"授权与收益"留在了门外，也把一个执行问题原封不动丢给了 CMS 生态：一个标准要真正有用，前提是几百万个中小站点能在一个下拉框里表达它，而不是靠在 functions.php 里抄一段 filter。
在 Anthropic 已经支持、Google 和微软还在路上的这段时间窗口里，建站平台该做的不是发一篇"我们关注 AI 合规"的博客，而是在 SEO 设置里加一个勾选框——把训练偏好、搜索引用、爬虫拦截三件事分开。谁先做，谁就先拿下这批被迫自己写代码的站长。
标签： CMS、自助建站、AI建站、robots.txt、AIPREF、技术演进