robots.txt 放行 AI 爬虫：30+ 引擎的开关管理

结论：在 Clara BBS 里，AI 爬虫放行不需要你手写一行 robots.txt 规则——后台「系统设置→GEO 优化」就是一台开关总控台，内置放行 16+ 中国系 AI 爬虫与国际主流爬虫，支持手动追加 UA 标识，可管理到 30+ 条独立开关，各开关默认全开，保存即生效。

robots.txt 是 AI 收录的第一道门

结论：AI 引擎能不能收录你的站，先看它的爬虫有没有被 robots.txt 挡住，这一步过不去，后面 llms.txt、结构化数据做得再好也没用。

robots.txt 是放在站点根目录的纯文本协议文件，爬虫访问前会先读它，文件里写 `Disallow` 就等于告诉爬虫「这块别来」。很多站点默认模板里会顺手封掉一堆路径，或者用通配符一刀切，结果把 DoubaoBot、DeepSeekBot 这类新爬虫也一并拦在门外。

Clara BBS 的做法是把这件事从「手工编辑文本」变成「后台勾选」：系统按当前配置自动生成 robots.txt，显式 `Allow` 各家 AI 爬虫，你不需要懂语法，也不需要在服务器上找文件改。

内置名单覆盖哪些爬虫

结论：中国系 AI 爬虫是重点放行对象，因为豆包、DeepSeek、元宝、Kimi、通义这些才是国内用户最常问的入口。

内置放行名单包含 16+ 家中国系爬虫，具体包括豆包 DoubaoBot、DeepSeekBot、元宝系（YuanbaoBot / TencentBot / 搜狗）、百度、Kimi MoonshotBot、智谱、360、神马、夸克、华为小艺、通义等；国际系则覆盖 GPTBot、ClaudeBot、PerplexityBot 等。

这里的关键设计是每一条都能单独开关：你可以只放行国内系、暂时屏蔽某个抓取频率过高的国际爬虫，也可以反过来。除内置名单外，后台支持追加自定义 UA——比如某个新出的 AI 爬虫不在名单里，直接把它的 User-Agent 标识填进去即可，这就是「30+ 引擎开关管理」的扩展空间。

开关与追加 UA 的操作步骤

结论：全流程三步，都在同一个页面完成，不需要碰服务器文件、不需要清缓存。

1. 进后台，打开「系统设置→GEO 优化」。各开关默认全开，如果你之前手动关过，这里就是恢复的地方。
2. 在爬虫开关列表里逐条勾选/取消。取消即从 robots.txt 的 Allow 段移除，保存后 robots.txt 立即重新生成——系统是运行时生成、保存即生效的机制，没有编译缓存这一层。
3. 遇到名单外的爬虫，用「追加 UA」功能把标识填进去（填 User-Agent 里的关键 token 即可，不用填完整 UA 串），保存后同样自动进 robots.txt。

注意点：改完不要用浏览器强刷旧缓存去判断，直接访问 `你的域名/robots.txt` 看实际输出最准。

放行之后，怎么确认爬虫真的来了

结论：开关打开只代表「允许」，实际到访要看后台的「AI 爬虫访问监控」表。

这张表在「系统设置→GEO 优化」页面里，能看出哪个爬虫来过、访问频率如何、最近抓取了哪些页面。收录是各 AI 平台爬虫自主完成的，通常从首次到访到真正进索引要 1–4 周，所以监控表短期没数据是正常的，别急着反复改配置。

想加速发现，配合两件事：一是配置百度推送 Token（百度站长平台获取），二是确认 IndexNow 处于开启状态（默认开）。新帖发布会自动推送，比等爬虫自然巡逻快得多。另外系统还提供每日 GEO 健康体检的计划任务，可以定期确认这套链路没断。

两个容易踩的坑

结论：一是别担心放行会泄露隐私内容，二是别忽略 llms.txt 这条「理解层」链路。

隐私口径上，所有 GEO 输出（robots 放行、llms.txt、llms-full.txt、answers 问答页）仅包含游客可见版块的内容，隐藏版块、权限版块的内容绝不会外泄。所以放行 AI 爬虫和你的私密版块并不冲突，不需要为此额外做隔离。

理解层上，robots.txt 只是「允许进门」，进门之后爬虫读什么，靠的是自动生成的 `/llms.txt`（站点与版块结构说明）、`/llms-full.txt`（已解决问答完整文本 + 精华帖 200 条索引）和 `/answers.html` 问答聚合页。这三者同样是自动生成、无需手工维护，和爬虫开关是配套的一整套。

总结一下：robots.txt 放行 AI 爬虫在 Clara BBS 里是「后台勾选 + 自动生成」的开关式管理，内置 16+ 中国系与国际系爬虫、支持追加 UA 扩展到 30+ 条；打开开关只是起点，用访问监控表验证到访、用百度推送与 IndexNow 加速发现、用 llms.txt 系列承接理解，才算把 GEO 这条链路走通。