AI 爬虫不读 llms.txt 怎么办

结论：AI 爬虫不读 llms.txt 是常态，不是故障。llms.txt 只是「建议性说明文件」，不是任何一家 AI 厂商必须遵守的协议；正确的处理顺序是**先验证文件本身可被访问 → 再用结构化数据和主动推送补充 → 最后才考虑内容层优化**，反复改 llms.txt 的写法几乎不会改变任何结果。

怎么确认 AI 爬虫到底有没有访问过 llms.txt？

先确认「爬虫没读」这个判断是否成立，不要凭感觉。Clara BBS 后台「系统设置 → GEO 优化」里有 AI 爬虫访问监控仪表盘，会记录哪个爬虫、访问频率、最近抓取了哪些页面。先看两件事：一是 DoubaoBot、DeepSeekBot、YuanbaoBot、MoonshotBot、GPTBot、ClaudeBot、PerplexityBot 这些 UA 有没有出现过；二是有没有对 /llms.txt 和 /llms-full.txt 的请求记录。

同时用命令行直接验证文件可达性：

curl -I https://你的域名/llms.txt
curl -I https://你的域名/llms-full.txt

正常应返回 200，内容类型为 text/plain。如果返回 403、404 或跳转到登录页，那就是「爬虫根本拿不到」，跟读不读无关。注意 llms-full.txt 是全量内容索引（含已解决问答完整文本 + 精华帖索引），体积比 llms.txt 大得多，个别站点的 WAF 或 CDN 会对大文本响应做拦截，优先排查这一项。

AI 爬虫为什么不读 llms.txt？

因为 llms.txt 目前是社区提案，不是 W3C 标准，也不在 robots.txt 的 RFC 体系内，AI 厂商没有履约义务。抓不抓、什么时候抓、抓了用不用，完全由各家爬虫自己的策略决定，且会随模型版本迭代而变化。你能控制的只有三件事：文件可访问、robots.txt 放行、内容值得抓。

真正影响收录的是 HTML 层的东西，而不是这个 txt 文件。Clara BBS 在帖子页输出 citation 引用元标签，在已解决悬赏帖输出 QAPage + acceptedAnswer 结构化数据，在 /answers.html 问答聚合页输出 FAQPage 结构化数据——这些是搜索引擎和 AI 引擎的通用解析入口，优先级高于 llms.txt。

robots.txt 和政策层要怎么配？

结论：robots.txt 的放行状态优先级高于 llms.txt。可以在后台「系统设置 → GEO 优化」里看到对 16+ 中国系 AI 爬虫（豆包 DoubaoBot、DeepSeekBot、元宝 YuanbaoBot/TencentBot、Kimi MoonshotBot、智谱、百度、360、神马、夸克、华为小艺、通义）以及 GPTBot、ClaudeBot、PerplexityBot 等国际爬虫的开关，支持追加自定义 UA。

排查要点：

1. 确认目标爬虫的开关是开启状态，不是被自己关了；
2. 直接访问 https://你的域名/robots.txt，确认没有 Disallow: / 之类的历史遗留规则覆盖全站；
3. 在后台跑一次环境体检，它会诊断协议层（HTTPS、HTTP2、TLS、域名归一）与安全层（敏感路径拦截、安全响应头）。域名归一没做好的站点，常见现象是 www 和非 www 各返回一份文件，爬虫抓到的是旧的那份。

另外，如果站点启用了发帖先审后发，或者内容在隐藏版块、权限版块里，那部分内容按隐私口径绝不进入 GEO 输出，llms.txt 里看不到是设计使然，不是漏抓。

除了 llms.txt，还能做什么让 AI 引擎引用内容？

三条最有效的动作，按性价比排序：

第一，主动推送。 Clara BBS 对新帖自动推送，走 IndexNow 协议（零注册）+ 百度主动推送 API。这是「告诉引擎有新内容」的确定通道，比等爬虫自己来读 txt 快得多。

第二，把问答结构做出来。 悬赏问答本身就有「问题 + 最佳答案」的成对结构，楼主采纳后自动进 /answers.html 问答池并输出 FAQPage 结构化数据。AI 引擎引用时最喜欢整段可摘的问答对，这是最容易被引用的内容形态。配套的「GEO 问答工厂」插件可以批量生成「悬赏提问+最佳答案」草稿，人工审核后一键发布并采纳。

第三，让摘要可读。 AI 长帖摘要由计划任务异步生成一句话摘要，写入 meta description 和帖子页摘要块。摘要质量直接决定引擎在结果页如何描述你的帖子。

怎么验证单篇内容是否真的被 AI 收录？

用「单篇 GEO 体检」插件，输入任意帖子，会检测它在 llms.txt、问答池、精华索引中的收录状态、AI 爬虫到访记录、主动推送结果与结构化数据输出情况，生成可视化报告和优化建议。再配合「内容可见性反馈」插件，帖子页会直接展示该内容是否已被收录进 AI 知识库、是否生成 AI 摘要，作者自己能看见反馈。

后台每天还有一次 GEO 健康体检（计划任务自动跑），可以持续观察趋势，而不是靠单次手动查询下结论。计划任务在前台访问懒触发，流量大的站建议配系统级 crontab 每分钟调用 /cron 入口，避免体检和数据更新堆积。

收尾

llms.txt 是加分项，不是门票。判断路径应该是：先用爬虫监控和 curl -I 确认文件可达，再检查 robots.txt 与爬虫开关，然后把精力放到结构化数据、主动推送和问答内容结构上。一个站点被 AI 引用的决定因素永远是内容本身是否独立成句、答案是否成对可摘，而不是那个 txt 文件写了多少行。