摘要

GeoAura 于 2026 年 11 月 10 日更新的证据页披露一组新站点日志：75 小时内 440 次经 IP 段核验的爬虫请求中，只有 10 次（约 2%）请求 llms.txt 系列文件，而单页 Markdown 副本（同 URL 加 .md）被取走 77 次，占 17.5%，是 llms.txt 的 7.7 倍。且三个读过 llms.txt 的爬虫，全都先取过 .md 副本。

事件

2026 年 11 月 10 日，GeoAura 更新其 llms.txt 实证页，汇总 2026 年多组服务器日志与第三方大样本研究，并新增 AI Visibility Census 的实测数据：一个 2026 年 10 月 29 日上线的全新站点，在 10 月 29 日 10:23 UTC 至 11 月 1 日 13:00 UTC 的 75 小时内，共记录 440 次经爬虫公司公布 IP 段核验的抓取请求。

同期该页还引用了 Ahrefs 对 137,210 个域名的 llms.txt 请求统计（97% 的文件零请求）、SE Ranking 约 30 万域名的相关性分析（未测出与 AI 引用的可解释关联），以及 Google 2026 年 5 月 AI 搜索优化指南中"llms.txt 对 AI 引用无特殊权重"的官方表态。

关键数据

75 小时新站日志（经 IP 段核验）：

关键时序：三个读过 llms.txt 的爬虫都先读到了同名页面的 .md 副本——ClaudeBot 早 1 分钟，GoogleOther 早 3 小时，Googlebot 早约 21 小时。也就是说，llms.txt 不是它们发现页面的路径。

交叉验证数据：

• Ahrefs（2026-06）：137,210 个域名中 97% 的 llms.txt 收到零请求；少数到达的请求里约 96% 来自非 AI 检索类机器人（SEO 审计工具 21%、未识别机器人 14%、Googlebot 等传统爬虫 13%、BuiltWith 类工具 11%）。
• SE Ranking：约 30 万域名样本，llms.txt 存在与 AI 引用率之间无可测量相关性。
• 采纳率口径差异巨大：Digital Applied 开发者面板 51.8%，Tranco Top 1000 仅 8.7%，Ahrefs 28%，SE Ranking 10.13%——同一文件、四个分母，没有一个是错的。
• Google 2026 年 5 月 AI 搜索优化指南明确：llms.txt 对 AI 引用选择无特殊权重；Chrome Lighthouse 已将 llms.txt 检查归入 agentic browsing（代理可读性）类别，而非搜索类目。

对品牌与站长的实操含义

• 分层定位：llms.txt 属于"上下文层"，服务 Cursor、Claude Code 这类编码代理；"引用层"由页面内容质量、结构化数据与站外信源决定，两者别混谈。
• 真正该做的是页面级机器可读：给核心页面提供 .md / 纯文本副本、干净的语义 HTML、FAQ 与产品结构化数据；本次日志里 .md 副本被取走的次数是 llms.txt 的 7.7 倍。
• 已有 llms.txt 的站不用删：成本几乎为零，链接保持有效即可；但内部不要把它写成"我们的 GEO 策略"。
• 审计口径要校正：Lighthouse 的 llms.txt 检查通过与否，说明代理能否解析，不说明搜索引擎是否引用，报告里必须区分。
• 爬虫策略重心在 robots.txt 与服务器日志：分清训练爬虫与检索爬虫（Googlebot、OAI-SearchBot、ClaudeBot、PerplexityBot 属检索侧），按身份分层放行，并用日志验证真实抓取面。

标准与时效

• 规范/标准号：未披露（llms.txt 为社区提案，非正式标准；Lighthouse 相关检查归入 agentic-browsing 类别）
• 发布日期：2026-11-10（证据页更新）
• 日志窗口：2026-10-29 10:23 UTC 至 2026-11-01 13:00 UTC
• 生效日：不适用

出处

• 证据页：https://geoaura.world/blog/llms-txt-does-it-work-for-geo
• 原始日志：https://aivisibilitycensus.com/do-ai-crawl
• Google 指南：https://developers.google.com/search/docs/appearance/ai-features

标签：AIWO、AI可见度、AI搜索优化、llms.txt、AI爬虫