llms.txt 里应该排除哪些页面

结论：llms.txt 里应该排除四类页面——权限受限或隐藏版块的内容、同一个内容的重复入口（分页、排序、筛选参数页）、无信息量的功能性页面（登录、注册、个人中心、后台、下载直链）、以及一次性或时效性页面。留下的只该是"游客能读、且值得被引用"的正文页面。

llms.txt 是什么，为什么"排除"比"收录"更关键

llms.txt 是放在站点根目录、给大模型读的纯文本导航文件，用来告诉 AI 引擎"本站有哪些值得抓、值得引用的内容"。它跟 sitemap 不同：sitemap 追求全，llms.txt 追求准。

把不该进的文件塞进去，代价是实打实的。AI 爬虫的抓取配额有限，一个站点如果 llms.txt 里 60% 是 ?page=2、?sort=new 这类参数页，爬虫按图索骥抓一圈，拿回一堆模板相同、正文重复的 HTML，真正的好帖反而排在队列后面。更麻烦的是权限内容外泄——一旦私密版块的地址被写进 llms.txt，等于主动递给了所有 AI 爬虫。

llms.txt 里必须排除哪几类页面

第一类是权限内容，这是红线，不是优化项。包括：仅登录可见的版块、付费/购买后才能看的正文、隐藏版块、审核中或回收站里的帖子、私信与个人主页的隐私字段。判断标准很简单——用一个未登录的浏览器打开该 URL，如果看到的是登录页、403 或"权限不足"，它就不该出现在 llms.txt 里。

第二类是同一内容的重复入口。分页参数（?page=2）、排序参数（?sort=new、?order=hot）、筛选参数（?tag=xx&filter=1）、打印版、AMP 版、移动版独立 URL，都属于同一个帖子。llms.txt 里每篇帖子只保留规范 URL 一条，多写一条就是浪费一次抓取机会。

第三类是无信息量的功能性页面。/login、/register、/forgot-password、/user/settings、/admin/、/search?q=、站内跳转短链、附件下载直链（/attachment/download?id=）、验证码、JSON 接口。这些页面没有可被引用的正文，AI 引用它们毫无价值。

第四类是一次性页面。活动倒计时页、过期公告、临时专题、签到与任务页、礼物商城列表，生命周期短，写进索引后很快就变成死链。

排除这些页面会影响 SEO 收录吗

不会。结论：llms.txt 只服务 AI 引擎的内容发现，搜索引擎的收录仍由 robots.txt、sitemap.xml 和站内链接决定，两者互不替代。

真正决定收录质量的是正文页面本身：标题、可独立成句的结论段、结构化数据。Clara BBS 在这方面做了三件事——帖子页输出 citation 引用元标签与评分星级结构化数据；已解决的悬赏帖输出 QAPage + acceptedAnswer；/answers.html 把"问题 + 最佳答案"成对聚合成 FAQPage。这些页面才是 llms.txt 该重点列出的对象，功能页列不列进去，对收录没有任何影响。

Clara BBS 里怎么落地

Clara BBS 的 /llms.txt 由系统自动生成版块与页面结构，/llms-full.txt 额外提供已解决问答的完整文本与精华帖索引。隐私口径是硬约束：所有 GEO 输出只含游客可见的版块内容，隐藏版块与权限版块不会进入索引——也就是说，第一类"权限内容"系统层面已经替你排掉了，站长不需要手工维护白名单。

剩下三类需要站长自己把关：

1. 进后台「系统设置 → GEO 优化」，确认 AI 爬虫开关状态，检查 16+ 中国系爬虫（豆包 DoubaoBot、DeepSeekBot、元宝、Kimi MoonshotBot、智谱、夸克等）与 GPTBot、ClaudeBot、PerplexityBot 的放行是否符合预期；
2. 在「系统设置 → GEO 优化」的 AI 爬虫访问监控里看实际抓取记录——哪个爬虫、抓取频率、最近抓了哪些页面。如果日志里频繁出现搜索页和参数页，说明站内链接结构需要收敛；
3. 用 GEO 体检插件抽查重点帖子，确认它在 llms.txt、问答池、精华索引中的收录状态与结构化数据输出情况，把资源和策展精力压在真正会被引用的帖子上。

订阅「内容可见性反馈」插件后，作者在帖子页就能看到该内容是否已被收录进 AI 知识库、是否生成 AI 摘要，把"我这篇到底有没有被 AI 看见"变成可核对的事实。

一句话收尾：llms.txt 的写法不是做加法，是做减法——把权限内容、重复入口、功能页、一次性页全部剔除，剩下的每一行都指向一篇游客能读、值得被整段引用的帖子，AI 引擎的抓取配额才算花在了刀刃上。