AIWO实测：训练爬虫不渲染JS，检索爬虫渲染
摘要
SitemapHost 的《AI Crawler Reference 2026》于 11 月 2 日完成季度刷新，把 16 个 AI 相关 UA（含 2 个 opt-out token）按"是否遵守 robots.txt"和"是否执行 JavaScript"两列并排列出：训练类抓取器全部不渲染 JS，检索类抓取器全部渲染 JS。这意味着官网改造必须拆成"被引用"和"被训练"两条链路分别配置，一把通配符规则两头都做不对。
事件
2026 年 11 月 2 日 02:00，SitemapHost 的 AI 爬虫参考表完成季度刷新，逐行标注 user-agent、运营方、用途、是否遵守 robots.txt、是否渲染 JavaScript，以及运营方公布的 IP 段入口。表格覆盖 14 个实际抓取器与 2 个 opt-out token（Google-Extended、Applebot-Extended）。表中最值得注意的一列是 JS 渲染：它与"训练/检索"这条分工线完全重合。
同批更新的配套说明也给出两条实操边界：第一，Google-Extended 与 Applebot-Extended 不是独立抓取器，只是让 Googlebot / Applebot 把你的内容排除出 AI 训练，不影响搜索收录；第二，Perplexity-User 与 Bytespider 存在"robots.txt 声明后仍抓取"的独立报告，运营方否认或称为 bug，需要靠防火墙层拦截。
关键数据
| 抓取器 | 运营方 | 用途 | 遵守 robots.txt | 渲染 JS |
|---|---|---|---|---|
| GPTBot | OpenAI | ChatGPT 训练语料 | 是 | 否 |
| OAI-SearchBot | OpenAI | ChatGPT 搜索索引（RAG 实时引用） | 是 | 是 |
| ChatGPT-User | OpenAI | 用户提问触发按需抓取 | 是 | 是 |
| ClaudeBot | Anthropic | Claude 训练语料 | 是 | 否 |
| Claude-SearchBot | Anthropic | Claude 联网检索索引 | 是 | 是 |
| Claude-User | Anthropic | 用户分享链接按需抓取 | 是 | 是 |
| PerplexityBot | Perplexity | 训练与 RAG 索引 | 是 | 是 |
| Perplexity-User | Perplexity | 用户提问触发抓取 | 存疑 | 是 |
| meta-externalagent | Meta | Llama / Meta AI 训练语料 | 是 | 否 |
| Bytespider | 字节跳动 | 豆包侧模型训练语料 | 存疑 | 否 |
| CCBot | Common Crawl | 公共网页存档（间接进入训练管线） | 是 | 否 |
| cohere-ai | Cohere | Command 系列训练语料 | 是 | 否 |
| Diffbot | Diffbot | 知识图谱（企业 RAG 上游） | 是 | 是 |
| DuckAssistBot | DuckDuckGo | DuckAssist 答案的 RAG | 是 | 是 |
| Google-Extended | 训练 opt-out token（非抓取器） | 是 | 不适用 | |
| Applebot-Extended | Apple | Apple Intelligence 训练 opt-out token（非抓取器） | 是 | 不适用 |
推论很清晰：只存在于客户端渲染后的内容，永远进不了训练语料，但可以进检索候选。反过来，把关键正文放在服务端渲染，则两条链路都能覆盖。
规范信息
- 标准号：未披露（本条目为行业参考表刷新，非标准文件）
- 更新时间：2026-11-02（季度刷新；随附 robots.txt 模板最近复核 2026-05-18）
- 生效日：不适用
- 关联口径：llms.txt v2 已明确为提案而非标准（2026-08-10 修订）；Google Search 官方说明其生成式功能不使用 llms.txt（2026-06）
对品牌与站长的实操含义
- 先明确目标再决定渲染方案。要"被引用"：检索爬虫会执行 JS，可接受；要"进模型知识/训练语料"：训练爬虫不执行 JS，必须服务端渲染或静态化。
- robots.txt 按 bot 分组，别用通配符。主流做法是"封训练、放检索"：Disallow GPTBot、ClaudeBot、Google-Extended、CCBot，Allow OAI-SearchBot、Claude-SearchBot、PerplexityBot。一条 User-agent: * 无法区分这两种用途。
- 别用 IP 段封禁替代 UA 规则。Anthropic 提醒 IP 封禁可能连带阻断其读取 robots.txt 本身；规则写在 robots.txt，硬拦截放在 WAF。
- 对"存疑"爬虫做双层防护。Perplexity-User、Bytespider 的 UA 规则可能不被遵守，涉及付费墙或原创内容时需在 CDN/防火墙层再拦一次。
- 别把 Google-Extended 当抓取器。它只是训练用途的信号位，写进 Disallow 不影响 Google 搜索与 AI Overviews 的收录；要退出搜索需另动 Googlebot。
- 变更按 24 小时计。OpenAI 与 Perplexity 均表示规则生效约 24 小时，改完当天不要急于验证效果；每个子域都要重复配置。
原文出处
- AI Crawler Reference 2026（SitemapHost，2026-11-02 刷新）：https://sitemaphost.app/ai-crawlers
- llms.txt and AI Crawlers in robots.txt (2026)（2026-10-24）：https://gtm8020.com/blog/llms-txt-ai-crawlers-robots-txt
标签：AIWO、AI可见度、AI搜索优化、GEO/AIVO/AIWO、AI爬虫、robots.txt