摘要
11月3日一篇基于真实服务器日志的实测文章，把AI爬虫拆成三种角色：采训练数据、建自家搜索索引、替用户读一个页面。作者统计自家站点 2026年10月29日至11月2日 的 3,785 次请求，其中 1,661 次（44%）带AI爬虫UA；GPTBot 五天抓了384页，比 Googlebot（133页）还多；而 1,661 次AI请求里有 635 次（38%）根本不是AI，是伪装UA的扫描器在找 .env、私钥和 docker-compose.yml。结论很直接：按UA一刀切封禁会同时毁掉搜索引用和答案引用，robots.txt 必须按角色分别配置。
事件
来源：DEV Community 技术实测文章《ClaudeBot, GPTBot, ChatGPT-User: which AI crawler does what》
发布：2026-11-03 18:40
监测样本：privatrak.com 及其子域，2026-10-29 至 2026-11-02，共5天
标准/规范：robots.txt 语义依 RFC 9309（未在该文中单独披露编号，属事实标准）
版本号：未披露
三类爬虫，三种后果
| 角色 | 代表 UA | 拦了会怎样 |
|---|---|---|
| 采集训练数据 | GPTBot、ClaudeBot、meta-externalagent、Bytespider | 内容不进未来训练集；但已采集的不回滚，也不影响同公司搜索与引用你的页面 |
| 建自家搜索索引 | OAI-SearchBot、Claude-SearchBot、PerplexityBot | 从该服务的答案中消失（相当于AI版的"不被Google收录"） |
| 替用户读当前页面 | ChatGPT-User、Claude-User、Perplexity-User | 用户问到你时读不到这一页；这类请求最接近"真实访问"，但分析工具几乎看不到 |
各厂商口径（作者逐条对照官方文档，核对日 2026-11-03）：
OpenAI：GPTBot 管训练；OAI-SearchBot 决定是否出现在 ChatGPT 搜索答案；ChatGPT-User 由用户触发，"robots.txt 规则可能不适用"；GPTBot 与 OAI-SearchBot 都允许时可能合并抓取；robots.txt 变更约24小时生效。
Anthropic：ClaudeBot 管训练并遵守 Crawl-delay；Claude-SearchBot 建索引；Claude-User 遇到提问才读页面，且三家（ClaudeBot/Claude-SearchBot/Claude-User）都遵守 robots.txt——实测中 Claude 在读页前1秒先取了 robots.txt。ClaudeBot 出证后数分钟内就到站。
Google：没有独立的AI训练爬虫；Google-Extended 只是 robots.txt 里的一个产品 token，用来决定 Googlebot 已抓内容能否用于训练 Gemini 与答案落地，不会影响 Google 搜索收录；AI Overviews 来自普通搜索索引。代读类为 Google-Agent、Google-GeminiNotebook，官方称这类用户触发抓取"通常忽略 robots.txt"。
Perplexity：PerplexityBot 建索引、不用于训练；Perplexity-User 一般忽略 robots.txt。
Meta：meta-externalagent 训练/索引；meta-webindexer 改善 Meta AI 搜索并"帮助引用与链接你的内容"；meta-externalfetcher 用户触发、可能绕过 robots.txt；另有 facebookexternalhit 负责社媒预览。
Mistral：MistralAI-Training / MistralAI-Index / MistralAI-User 三件套，最清晰。
Amazon：Amazonbot（可用于训练）、Amzn-SearchBot、Amzn-User（"可能不遵守全部 robots.txt 指令"）。
Apple：Applebot 供 Siri/Spotlight/Safari；Applebot-Extended 同 Google-Extended，是 token 不是爬虫。
Microsoft：无独立AI爬虫，Copilot 直接吃 Bing 索引——封 bingbot 等于同时退出 Bing 与 Copilot。
不声明的：Bytespider（是否遵守 robots.txt 说法不一）、xAI 未公布 Grok 爬虫（实测像普通 Chrome 用户）、DeepSeek 用普通 Firefox UA 的全浏览器读取——日志里认不出来。
实测数据
5天总请求 3,785 次；AI UA 1,661 次，占 44%。
训练类最凶：GPTBot 384页 > Bingbot 297页 > Googlebot 133页。
答案类最值钱但量小：ChatGPT-User 62页、Claude-User 27页；ChatGPT 的62次里46次是首页。
1,661 次AI命名请求中至少 635 次（38%）为伪装扫描器，目标包括 .env、/proc/self/environ、私钥、docker-compose.yml。
对站长与AIWO的实操含义
robots.txt 按 UA 分段写，别再一刀切：允许 OAI-SearchBot / Claude-SearchBot / PerplexityBot / meta-webindexer（否则从答案里消失），训练类按授权意愿单独决定，ChatGPT-User / Perplexity-User / meta-externalfetcher 这类"用户触发"多数不读 robots.txt，只能靠内容层管控。
想要被引用，别封 SearchBot：AI引用链条是"进索引→被检索→被引用"。封训练只影响未来模型，封索引等于当期失声。
日志分析要双轨：既看 UA 也看请求路径。UA 可伪造，路径不会——一批请求集中打 .env、私钥、备份文件，就是扫描器，别当成AI抓取做优化决策。
Chrome 式访问不稀奇：Grok、DeepSeek 这类用普通浏览器UA访问，导致分析工具里的"直接访问"里藏着AI流量。做AI流量归因时，把这类请求单列，别全算成自然流量。
首访速度要有预期：ClaudeBot 在证书签发后几分钟就到达，新站上线即被抓是常态——上线前把 robots.txt、llms.txt、事实页准备好，而不是上线后再补。
原文出处
《ClaudeBot, GPTBot, ChatGPT-User: which AI crawler does what》，DEV Community，2026-11-03 18:40
链接：https://dev.to/quentin_wendegass/claudebot-gptbot-chatgpt-user-which-ai-crawler-does-what-3o99
标签
AIWO、AI可见度、AI搜索优化、GEO/AIVO/AIWO、AI爬虫、robots.txt