AIWO：Google新增CWS抓取器绕过robots
摘要
2026 年 11 月 3 日，Google 在 Search Central 文档更新日志中把 Google-CWS 加进了"用户触发抓取器（user-triggered fetchers）"清单——这是继 10 月 9 日 Google-NotebookLM 之后同类清单的第二次扩容。关键在于官方对这类抓取器的定性：因其由用户请求发起，通常忽略 robots.txt 规则。站长需要把"训练、索引、用户触发"三类抓取彻底分开管控，robots.txt 只解决前两类，第三类要靠访问控制。
事件
Google Search Central 的 What's new 更新日志在 2026 年 11 月 3 日记录了一条变动：Adding a new user-triggered fetcher——根据反馈，把 Google-CWS 抓取器加入用户触发抓取器列表。此前 10 月 9 日的更新已把 Google-NotebookLM 加入同一清单，两次更新间隔不足一个月。
这条看似技术细节的改动，实际划定了一条常被混淆的边界。Google 官方文档对"用户触发抓取器"的定义是：由用户在 Google 产品内发起的抓取行为，例如用户主动提交网址验证站点，或在某个产品里让系统去取回一个外部 RSS 源。文档明确写到，因为抓取是由用户请求的，这类抓取器一般会忽略 robots.txt 规则；它们同样适用 Google 爬虫的通用技术属性，IP 段单独公布。
换句话说，robots.txt 里写 Disallow: / 对这类抓取器基本无效。这与 AI 爬虫的普遍认知形成一个容易被忽略的落差：站点管理者通常默认"robots.txt 是总开关"，但实际被 robots.txt 约束的是训练类与索引类爬虫（GPTBot、ClaudeBot、Google-Extended、OAI-SearchBot 等），用户触发类不在其中。
目前 Google 公开的用户触发抓取器清单包括：Google Site Verifier、GoogleMessages、Google-NotebookLM、Google-Pinpoint、GoogleProducer（发布商中心）、Google Read Aloud，以及本次新增的 Google-CWS。逐项对应关系是：消息链接预览、NotebookLM 项目来源抓取、Pinpoint 个人文档集、发布商 Feed 抓取、Read Aloud 语音朗读，以及本次新增的 CWS 抓取。
关键数据
| 项目 | 内容 |
|---|---|
| 更新日期 | 2026-11-03 |
| 更新内容 | 将 Google-CWS 加入用户触发抓取器（user-triggered fetchers）列表 |
| 同类前置更新 | 2026-10-09 加入 Google-NotebookLM |
| 官方定性 | 由用户请求发起，通常忽略 robots.txt 规则 |
| 公开清单条目 | Google Site Verifier、GoogleMessages、Google-NotebookLM、Google-Pinpoint、GoogleProducer、Google Read Aloud、Google-CWS |
| IP 归属 | 用户触发抓取器的 IP 段单独公布（与其爬虫体系分开维护） |
| 与训练/索引爬虫的区别 | GPTBot、ClaudeBot、Google-Extended、OAI-SearchBot、PerplexityBot 等按 robots.txt 规则处理 |
按用途把抓取器分成三层，是目前最实用的心智模型：
| 层级 | 代表 User-agent | 是否遵循 robots.txt | 管控手段 |
|---|---|---|---|
| 训练类 | GPTBot、ClaudeBot、CCBot、Google-Extended、Bytespider | 遵循（厂商自律） | robots.txt 声明 + 可选独立 opt-out token |
| 索引/检索类 | OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot | 遵循 | robots.txt 精确到目录，决定是否允许被实时引用 |
| 用户触发类 | Google-CWS、Google-NotebookLM、Google Read Aloud 等 | 一般忽略 | 访问控制：登录墙、WAF 规则、限流、付费墙 |
规范信息
标准号：未披露（本条目为 Google Search Central 官方文档更新，不属于标准文件）
发布日期：2026-11-03
生效日：即时生效（文档与抓取器清单同步更新）
关联口径：llms.txt v2（2026-08-10 修订，提案性质、非标准）；Google 生成式搜索功能不依赖 llms.txt
对品牌与站长的实操含义
别再拿 robots.txt 当内容防护墙。凡是不希望被任何形式取走的内容（付费内容、内部资料、用户数据），应当放在需要身份认证的路径后，或由 WAF 规则拦截。robots.txt 只能约束"愿意遵守规则"的爬虫与厂商。
日志分析按三类 UA 分组统计。把访问日志拆成"训练 / 检索 / 用户触发"三组，单独看各自的抓取量与抓取深度。若把 Google-CWS、Google-NotebookLM 这类访问混进"AI 爬虫"总量，会高估 AI 搜索侧的抓取表现。
AI 可见度报表要排除用户触发类流量。这类抓取由具体用户动作触发，不代表内容进入了 AI 搜索的候选池。把它计入"AI 流量"会让优化效果出现虚假提升。
检索类爬虫要放行，训练类按策略选择。想被 AI 实时引用，就必须允许 OAI-SearchBot、Claude-SearchBot、PerplexityBot 抓取正文；训练类是否放行则取决于内容资产策略。两者用户代理名称已完全分开，不存在"一放全放"的技术障碍。
新 UA 出现要进监测名单。Google 一年内多次扩容该清单（10 月 NotebookLM、11 月 CWS），说明用户触发抓取器的边界仍在扩张。建议把官方 What's new 页加入月度巡检，UA 白名单按季度复核。
原文出处
Google Search Central《Latest Google Search Documentation Updates》What's new 更新日志（November 3：Adding a new user-triggered fetcher）：https://developers.google.com/search/updates
Google for Developers《Google User-Triggered Fetchers》（官方定性：通常忽略 robots.txt；含清单与 IP 段说明）：https://developers.google.com/search/docs/crawling-indexing/google-producer
Google 用户触发的抓取工具列表（中文版，逐项 UA 与产品对应）：https://developers.google.cn/search/docs/crawling-indexing/google-producer
标签：AIWO、AI可见度、AI搜索优化、GEO/AIVO/AIWO（内容由AI生成，仅供参考）