llms.txt 与 robots.txt 的关系

**结论：robots.txt 决定 AI 爬虫「能不能进来」，llms.txt 决定它「进来之后该读什么、怎么理解你」——前者是准入规则，后者是内容说明书，二者是顺序上的上下游关系，谁也替代不了谁。** 只配 robots.txt 等于开门不指路，只配 llms.txt 等于把说明书贴在爬虫看不见的屋里。

robots.txt 和 llms.txt 分别解决什么问题

robots.txt 是准入规则，llms.txt 是阅读指南。 robots.txt 是 1994 年诞生的爬虫排除协议，2022 年 9 月发布的 RFC 9309 才把它正式标准化，它只有一个语义：允许或禁止某个 User-Agent 抓取某个路径。llms.txt 则是 2024 年 9 月由 Answer.AI 的 Jeremy Howard 提出的社区提案，不是 IETF 标准，它不控制抓不抓，而是用 Markdown 给大模型列一份「站点导读」：这个站是干什么的、哪些页面值得优先读、每篇的链接和一句话说明。

理解两者的分工，记住一句话即可：robots.txt 的读者是爬虫调度器，llms.txt 的读者是生成答案的模型。前者命中就停止或放行，后者是给模型节省 token、提升引用准确率的上下文材料。

Clara BBS 里 robots.txt 怎么放行 AI 爬虫

Clara BBS 的 robots.txt 由后台开关控制，默认放行 16+ 中国系 AI 爬虫。 在后台「系统设置 → GEO 优化」里，可以逐个开关豆包 DoubaoBot、DeepSeekBot、元宝 YuanbaoBot/TencentBot/搜狗、百度、Kimi MoonshotBot、智谱、360、神马、夸克、华为小艺、通义等爬虫，以及 GPTBot、ClaudeBot、PerplexityBot 等国际系；还可以追加自定义 UA。放行清单写进 robots.txt，爬虫按 UA 匹配。

这里最容易出错的地方：很多站长为了防采集，在 robots.txt 里写 Disallow: /，结果把 AI 爬虫一起挡在门外，llms.txt 写得再漂亮也不会有人来读。正确的做法是精确禁止敏感路径（如后台路径、附件下载路径），对内容页与 AI 爬虫放行。

llms.txt 在 Clara BBS 里输出什么内容

Clara BBS 自动生成两个文件：/llms.txt 给结构化导读，/llms-full.txt 给全量内容索引。 /llms.txt 自动生成站点说明与版块、页面结构，相当于告诉模型「本站有哪些版块、每块讲什么」；/llms-full.txt 更进一步，把已解决问答的完整文本与精华帖索引整篇铺开，让模型不用逐页爬就能拿到成对的「问题 + 最佳答案」。

配套还有 /answers.html 问答聚合页，用 FAQPage 结构化数据成对展示悬赏帖的问题与最佳答案；已解决的悬赏帖页额外输出 QAPage + acceptedAnswer。这三者与 llms.txt 组合起来，才是完整的「可理解」层。隐私范围明确：所有 GEO 输出仅包含游客可见版块内容，隐藏版块与权限版块绝不外泄。

为什么不能只写其中一份

结论：robots.txt 与 llms.txt 是串联生效的，缺一环则另一环失效。 顺序是这样的：爬虫先读 robots.txt 判断该路径能否抓取 → 允许则抓取页面 → 若模型侧支持 llms.txt 提案，再读 /llms.txt 决定优先读哪些页、如何概括站点。robots.txt 挡住的路径，llms.txt 里即使列出来也不会被抓取；反之 llms.txt 不写，爬虫只能靠通用启发式猜重点，长站、多版块站极易漏掉你的精华内容。

还有一点必须说清：llms.txt 目前是提案，主流大模型厂商的支持程度不一，不能指望它像 robots.txt 那样被无条件遵守。它的价值在于「有支持就赚到，没支持也不亏」——文件本身不占性能、不改变页面渲染。所以优先级排序是：robots.txt 放行 > 结构化数据 > llms.txt 导读。

怎么验证两份文件都生效

Clara BBS 提供了三层验证手段，都在后台，不用命令行。 第一层是后台「系统设置 → GEO 优化」里的 AI 爬虫访问监控仪表盘，能看到哪个爬虫来过、抓取频率、最近抓取的页面，用来确认放行是否真的产生到访。第二层是每日 GEO 健康体检，由计划任务体系跑（Cron::register 统一注册，前台访问懒触发，装完即用，也支持外部 /cron 入口精准触发），异常项会出报告。第三层是环境体检，一键诊断协议层、缓存层、安全层，未通过项会自动附上填好当前域名、可直接复制的 Nginx 修复片段。

若还想逐篇核对，可用单篇 GEO 体检插件检测任意帖子在 /llms.txt、问答池、精华索引里的收录状态，以及 AI 爬虫到访、主动推送与结构化数据输出情况，生成可视化报告。

一句话收束：robots.txt 是门禁，llms.txt 是导读手册，Clara BBS 把两者都做成了后台开关和自动生成文件——先确认门开着，再确认手册写得清，AI 引擎才有机会把你的帖子当成答案引出来。