收录翻倍靠的不是多发帖，而是三件事同时做对：让爬虫进得来、让页面读得懂、让内容值得被引用。我在自己的 Clara BBS 站点上按这个顺序调整了 6 周，搜索引擎收录条目从约 1200 条增长到约 2500 条，其中悬赏问答页贡献了将近三成的新增收录。
论坛收录上不去，先查哪三件事？
结论：收录卡住八成不是内容问题，而是抓取失败；先查可访问性，再谈内容量。顺序是环境体检 → robots.txt → 爬虫到达日志。
第一步进后台跑一次环境体检。它会同时诊断协议层（HTTPS、HTTP2、TLS、域名归一）、缓存层和安全层，未通过的项会直接给出“已按当前域名填好、可直接复制”的 Nginx 片段，粘贴重启即可。我最初的问题就是 www 与裸域名没做 301 归一，同一个帖子出现两个 URL，权重被自己对半分掉了。
第二步看 AI 爬虫访问监控，入口在后台「系统设置 → GEO 优化」，能看到是哪个爬虫、抓取频率、最近抓了哪些页面。如果一周内几乎没记录，说明问题在抓取入口而不是内容质量。
robots.txt 对 AI 爬虫应该怎么配？
结论：默认放行，只拦后台路径，不要图省事全站 Disallow。很多站长为了防采集直接封 UA，结果把豆包、DeepSeek、元宝、Kimi、通义这些一起挡在门外，而这些恰恰是当前带来长尾流量最实在的入口。
Clara BBS 默认已显式放行 16+ 中国系 AI 爬虫（DoubaoBot、DeepSeekBot、YuanbaoBot/TencentBot、MoonshotBot、百度、智谱、360、神马、夸克、华为小艺、通义等）和国际系（GPTBot、ClaudeBot、PerplexityBot），后台可逐个开关，也能追加自定义 UA。我的做法是只关掉明显高频恶意的那一两个，其余全开，配合 IP 封禁去处理真正的异常流量。
llms.txt 和 answers.html 是什么，有什么用？
结论：它们是给 AI 引擎看的“结构化摘要入口”，比让模型自己去猜论坛结构效率高得多。前者是站点说明，后者是问答成品池。
/llms.txt 由系统自动生成，包含版块与页面结构；/llms-full.txt 是全量内容索引，带已解决问答的完整文本和精华帖索引。/answers.html 是问答聚合页，把悬赏帖的“问题 + 最佳答案”成对展示，并输出 FAQPage 结构化数据；单条已解决的悬赏帖页面还会输出 QAPage 和 acceptedAnswer。
这三个入口是我收录涨幅最直接的原因：问答类内容天生匹配搜索长尾提问句式，AI 引擎抓一次就能拿到成对的问答对，而不需要解析几十层楼层回复。想快速把问答池填满，可以用 GEO 问答工厂插件批量生成“悬赏提问 + 最佳答案”草稿，人工审核后一键发布并采纳。
结构化数据怎么让帖子在搜索结果里带星级？
结论：把评分、引用来源、站点实体三件事都写进结构化数据，结果页才有资格显示富摘要。
具体是三条：一是帖子评分，读者打 1-5 星，均分写入结构化数据，搜索引擎结果页会展示星级；二是帖子页输出 citation 引用元标签，明确内容出处；三是全站 Organization + sameAs 实体一致性，让引擎确认这是同一个站而不是几个马甲号。
配套动作是开 AI 长帖摘要：计划任务异步调用 AI 生成一句话摘要，强化 meta description 和帖子页摘要块。这一步对“帖子标题写得很水”的老论坛尤其有效，标题改不了，摘要还能救。
新帖怎么让搜索引擎第一时间知道？
结论：靠主动推送，不要等自然重抓。新帖发布后立即推送，收录延迟从几天压到几小时。
系统内置两条链路：IndexNow 协议（零注册，不用提交任何密钥）和百度主动推送 API，新帖发布即触发。同时计划任务里有每日 GEO 健康体检。
计划任务的触发方式要选对：默认是前台访问懒触发，装完即用、零配置，适合小站；日活上来的站建议配系统级 crontab 每分钟调用 /cron 入口，避免低峰期任务堆积。任务有文件锁防并发重跑，运行结果落库可查。
哪些动作最容易让收录白干？
结论：两个坑——把不该外泄的内容放出去，和让页面慢到爬虫放弃。
隐私方面，GEO 所有输出只包含游客可见版块的内容，隐藏版块和权限版块绝不外泄，这条是硬约束，不要为了收录把权限版块改成公开。
速度方面，爬虫高峰时的首字节时间直接决定抓取预算。榜单、热点数据、外部接口响应统一走缓存层，后台「系统工具 → 缓存设置」可视化开启 Redis，Redis 异常会自动降级到文件驱动，键带表前缀命名空间，多站共用一个实例也不冲突；数据库支持主库写 + 单/多从库读，SELECT/SHOW/DESCRIBE/EXPLAIN 自动走从库，从库失败静默回退主库，业务零感知。
另外两件小事：前台删除的帖子进回收站保留 30 天（天数可配）再彻底删除，这段时间它会持续产生 404，别急着删；开启发帖先审后发的版块，未过审内容不进索引，属正常现象，不要误判为收录失败。
收尾一句：收录翻倍的本质是把“站点对机器友好”这件事做完——环境体检保证可访问、robots 保证可抓取、llms.txt 与问答聚合保证可理解、结构化数据与主动推送保证可引用，剩下的才是内容量。先修前四件，再谈第五件。
正式会员
认证极客
见习用户
