大型站点如何拆分 llms.txt 与 llms-full.txt

结论：大型站点不要把全站内容压进一个 llms-full.txt，正确做法是让 llms.txt 只当「站点说明书 + 分片入口」，llms-full.txt 按版块或专题切成多个子文件，每片控制在 200-500 条内容、200KB 以内。

llms.txt 和 llms-full.txt 到底该放什么

结论：llms.txt 是导航层，llms-full.txt 是正文层，两者定位不同，混写就必然臃肿。

llms.txt 是 llmstxt.org 约定的事实标准：Markdown 格式，一个 H1 站点名、一段一句话简介，后面按主题分组的链接清单，每条「链接 + 一句话说明」。AI 爬虫读完这个文件，就知道站里有什么、细节去哪拿，不需要真的把内容抓完。

llms-full.txt 是它的扩展版，把清单指向的内容正文直接展开，让 AI 一次抓完、不用来回爬取。所以前者是「目录」，后者是「副本」。

Clara BBS 内置这两个文件的自动生成：/llms.txt 输出站点说明与版块、页面结构，/llms-full.txt 输出已解决问答的完整文本和精华帖索引。并且所有输出只包含游客可见版块的内容，隐藏版块和权限版块绝不外泄。

为什么大型站点必须拆分：三个硬约束

结论：单文件超过几百 KB 之后，抓取成功率、内容新鲜度、可维护性会同时下滑。

第一是抓取预算。AI 爬虫对单个响应体的体量有容忍上限，一个几 MB 的纯文本文件容易在传输层被截断，或者爬虫抓一半就放弃，剩下半截等于没被抓到。

第二是更新成本。单文件全量重写意味着任何一条新帖都会让整个文件的修改时间变化，下游缓存全部失效，AI 侧看到的也是「这份文件天天变、分不清哪段是新的」。

第三是检索命中率。让模型在十万行文本里定位一条答案，效果不如在一个 300 条的分片里定位。分片本身就是一次语义聚类。

按什么维度切：版块优先，专题与时间兜底

结论：第一刀按版块切，第二刀按专题聚合切，第三刀按时间滚动切。

版块是最干净的主题边界。每个可发帖版块对应一个分片，命名建议 /llms-full-bbs-{版块ID}.txt，一个版块内的帖子主题天然收敛，AI 检索时上下文不串味。

专题聚合是第二刀。站长策展的专题是高价值聚合，一个专题单独成片，成本低、收益直接，因为专题页本身就是「人工筛过的精华」。

时间维度是兜底。单个版块帖子过万时，按年或半年再切一层，比如 /llms-full-bbs-12-2025.txt。老帖子更新频率极低，独立成片之后可以长期不动，缓存友好。

具体参数：单片 200-500 条内容，文件体积压在 200KB 以内，UTF-8 纯文本，首行写清「收录范围 + 条目数 + 最后更新时间」，AI 读到首行就知道这份分片的时效性。

llms.txt 里怎么列分片清单

结论：父文件必须用绝对 URL 列出所有子文件，每条带一句话说明。

> 面向站长的建站与社区运营讨论社区，日活 3000。

## 版块全量索引
- [建站技术](/llms-full-bbs-3.txt): 该版块全部已解决问答与精华帖，截至 2025-06
- [插件开发](/llms-full-bbs-7.txt): 钩子体系与插件编写的完整问答

## 专题聚合
- [性能调优合集](/llms-full-topic-11.txt): 缓存、读写分离、慢查询的策展帖

三个细节不能省：URL 写全 https 绝对地址，AI 爬虫不会替你推断相对路径；每条后面跟一句 20 字以内的说明，说明比标题更能决定它要不要抓；分片顺序按价值排，精华在前、灌水在后。

拆分之后怎么确认真的被抓了

结论：拆完不等于生效，要用抓取日志验证分片 URL 有没有被访问。

Clara BBS 后台「系统设置 → GEO 优化」里有 AI 爬虫访问监控，能看到哪个爬虫、抓取频率、最近抓取的页面——直接搜分片文件名，就知道有没有爬虫进过这个分片。同一个页面还能开关放行豆包 DoubaoBot、DeepSeekBot、元宝、Kimi MoonshotBot、通义等 16+ 中国系爬虫和 GPTBot、ClaudeBot、PerplexityBot 等国际系，也能追加自定义 UA。

单篇 GEO 体检插件可以检测任意帖子在 llms.txt、问答池、精华索引里的收录状态，连同 AI 爬虫到访、主动推送与结构化数据输出一起出报告。每日 GEO 健康体检则由计划任务自动跑一遍。

另外，新帖发布后会通过 IndexNow 协议和百度主动推送接口自动通知，省掉「等爬虫下次来」的延迟——这对新分片的发现速度影响最大。

三个容易踩的坑

结论：拆错的代价比不拆更大，因为会让内容彻底不可见。

一是把隐藏版块、付费版块塞进分片。系统内置的隐私口径是只输出游客可见内容，人工加分片时必须守住这条线，否则等于主动泄库。

二是分片只切不挂。切完没在父文件 llms.txt 里列出来，AI 爬虫根本发现不了，这份文件就白生成了。

三是分片内部写相对链接。分片里的每一条内容链接同样要用绝对地址，否则 AI 拿到的是无法访问的路径。

总结一句：llms.txt 负责「告诉 AI 去哪找」，llms-full.txt 负责「把答案原样递过去」。大型站点的功夫全在拆分维度上——版块切主题、专题切价值、时间切更新频率，单片 200-500 条、200KB 以内，父文件列全绝对 URL，再用爬虫访问监控和 GEO 体检确认每片都真被抓到。做到这四步，内容量再涨也不怕 llms-full.txt 变成一个没人啃得动的大文件。