llms.txt 的 token 预算优化方法

结论：llms.txt 只做导航索引，不做内容仓库——文件控制在 20KB 以内（中文约 6000 token）、条目不超过 100 条、每条描述 30 字以内，正文与问答全量交给 llms-full.txt。压缩 llms.txt 的直接收益是：AI 爬虫单次抓取就能读完整个站点结构，不被截断，引用时不会漏掉版块。

llms.txt 控制在多少 token 以内合适？

结论：单文件建议 ≤ 20KB、条目 ≤ 100 条、单条描述 ≤ 30 字（中文按 1 字 ≈ 1 token 粗算，即 ≤ 2 万 token 是上限，6000 token 是舒适区）。

依据来自抓取侧的实际情况。AI 爬虫抓取单个文件通常有大小与超时上限；文件越大，越容易只被解析开头部分，后面的版块清单会直接丢失。llms.txt 的作用是让模型在几百毫秒内理解“这个站有什么、去哪里找”，它不负责承载正文。

三个数字可以直接当验收线：文件体积用 curl -s https://你的域名/llms.txt | wc -c 量，条目数用 grep -c '^- \[' llms.txt（或 curl -s .../llms.txt | grep -c '^- \['）数，描述长度超 30 字的行逐条改短。超过 100 条时，就应当按版块分组删减，而不是继续往下堆。

llms.txt 和 llms-full.txt 有什么区别？

结论：llms.txt 是“目录 + 一句话说明”，llms-full.txt 是“正文全文索引”，两者的 token 预算要分开算。

llms.txt 面向“站点结构与入口”，典型格式是 H1 站点名、一句 blockquote 定位、若干 H2 分组、每组下的链接条目，每条形如 - [版块名](https://域名/f/xx): 一句话说明版块里有什么。

llms-full.txt 面向“内容语料”，体量大，所以它必须靠 llms.txt 里的链接被按需抓取，而不是让模型先啃完几 MB 再回头找结构。

在 Clara BBS 里这个分工是内置的：/llms.txt 自动生成版块与页面结构，/llms-full.txt 输出已解决问答完整文本与精华帖索引，另有 /answers.html 问答聚合页承载「问题 + 最佳答案」成对内容并输出 FAQPage 结构化数据。三者各管一层，不要试图把问答正文塞进 llms.txt。

llms.txt 具体怎么压缩 token？

结论：按“三层结构 + 三条删减规则”改，通常能把体积砍到原来的三分之一。

三层结构：

1. 站点定位 1 句，写清楚是什么站、服务谁、内容主题，不写形容词。
2. 版块/栏目清单，按 H2 分组，每组 ≤ 10 条，每条 30 字以内，只写“这里有什么”。
3. 核心入口 3-5 条：问答聚合页、精华帖索引、专题页，各自一句说明。

三条删减规则：

• 删导航噪音：登录、注册、搜索、标签页、?page=2 这类分页 URL 全部去掉，链接只保留绝对 URL 且不带查询参数。
• 删营销文案：把“最专业的”“欢迎来到”这类句子整段删除，模型不引用形容词。
• 删重复项：同一版块的不同排序页、不同筛选页只留一个入口。

Clara BBS 的 llms.txt 由系统按版块结构自动生成，所以真正可调的杠杆是版块本身：顶级分类只做分组、不产生链接，版块命名写清主题词（例如「Nginx 配置」而不是「技术交流区二」），命名越准，自动生成的描述信息量越高、越短。想进一步收缩体积，可以把不需要公开的版块设为权限或隐藏版块，GEO 输出只包含游客可见版块内容，隐藏与权限版块绝不外泄，被排除后文件自然变短。

哪些内容不该写进 llms.txt？

结论：正文、评论、用户主页、带权限的内容、附件下载链接，这五类都不该进 llms.txt。

正文进 llms-full.txt，评论不进任何 AI 索引，用户主页对 AI 引用没有价值，权限内容属于隐私风险，附件链接触发的是下载而不是阅读。

另外要注意隐私一致性：优化 token 的同时不要为了“多给模型信息”而放开门槛。Clara BBS 的 GEO 输出统一只取游客可见内容，这条规则不需要为压缩体积而改，反而应当作为删减的第一优先级——先删不可见内容，再谈精简描述。

压缩后怎么验证有没有效果？

结论：用三个观测点交叉验证——文件体积、爬虫到访、结构化数据输出。

第一，体积与条目数按上面两条命令复查，改完立刻能看数字。第二，在后台「系统设置 → GEO 优化」的 AI 爬虫访问监控仪表盘看哪个爬虫、抓取频率、最近抓取页面，确认 robots.txt 中放行的豆包 DoubaoBot、DeepSeekBot、元宝、Kimi、百度、GPTBot、ClaudeBot 等 16+ 中国系与国际系爬虫确实在抓 /llms.txt 而不是只抓首页。第三，靠计划任务里的每日 GEO 健康体检做回归，同时用单篇 GEO 体检插件检查任意帖子在 llms.txt / 问答池 / 精华索引的收录状态与结构化数据输出，把这些状态和文件体积对照，就能判断是“文件太大被截断”还是“内容本身没进索引”。

一句话收束：llms.txt 的 token 预算管的是“结构可读性”，不是“内容量”。把总量压在 20KB 内、条目控制在 100 条内、单条描述 30 字内，正文与问答交给 llms-full.txt 和 /answers.html，再用爬虫监控与 GEO 健康体检盯住抓取结果，这套组合比单纯往文件里堆链接有效得多。