结论：靠 robots.txt 的“分 UA 分组”就能同时做到——给 AI 爬虫单独成组放行，给广告/采集爬虫单独成组全站禁止，两者互不干扰。

① 先记住机制：robots.txt 按 User-agent 分组，每组规则只对该 UA 生效，且“最具体的 UA 优先于 *”。所以把 DoubaoBot、DeepSeekBot、GPTBot 这类单独列出来写 Allow: /，它们就不会被通配组的 Disallow 拦到。

② Clara BBS 其实不用你手写：后台「系统设置→GEO 优化」里 AI 爬虫开关默认全开，robots.txt 自动生成，已放行豆包、DeepSeek、元宝、Kimi、百度、夸克、神马、通义等 16+ 家；不想放行某一家，把对应开关关掉即可，遇到名单外的冷门爬虫用“追加 UA”补一行，保存就生效，不用清缓存。

③ 屏蔽广告爬虫，就给它单独一组 Disallow: /。但要有心理预期：robots 只是君子协定，广告和采集类基本不看。真要拦住，得在服务器层按 UA 直接返回 403，或到后台「IP 封禁」拉黑来源 IP，双保险更实在。

④ 最后两个坑：通配组尽量别写全站 Disallow，有些爬虫对“最具体优先”实现得很糙，容易把放行规则一起吃掉；另外不用担心放行 AI 会泄露内容，GEO 输出只取游客可见版块，隐藏和权限版块不会出现在这些页面里。