不用背完整 UA 字符串——Clara BBS 已经在 robots.txt 里默认放行了主流 AI 爬虫,具体名单和真实来访 UA 在后台「系统设置→GEO 优化」都能看到。内置放行的标识大致分两拨:国内系有豆包 DoubaoBot、DeepSeek 的 DeepSeekBot、腾讯元宝 YuanbaoBot / TencentBot / 搜狗、百度、Kimi 的 MoonshotBot、智谱、360、神马、夸克、华为小艺、通义等 16+ 家;国际系有 GPTBot、ClaudeBot、PerplexityBot 等。要注意这些只是标识名,真实 UA 字符串里还带版本号和官网地址,各家格式也不统一,肉眼比对很容易认错。想看实际来的 UA,最省事的办法是开后台 GEO 页的「AI 爬虫访问监控」表,哪个爬虫来过、访问频率、最近抓取了哪个页面都列着,比猜准得多,服务器访问日志也能对照。如果碰上名单外的爬虫,GEO 设置里可以逐个开关,也能手动追加 UA 加进放行名单,保存即生效,不用去改 robots.txt 文件。最后说一句,UA 本身可以伪造,别拿它当身份验证;真正决定内容能不能被 AI 引用的,还是 llms.txt、llms-full.txt 和 answers 问答页那套输出。
Clara BBS 默认放行哪些 AI 爬虫?各家引擎的爬虫 UA 分别是什么? 已解决
Clara BBS 默认放行哪些 AI 爬虫?各家引擎的爬虫 UA 分别是什么?
如题,希望有经验的朋友给一个能落地的解答。
本文转载自 Clara轻量论坛系统 - 轻量级 PHP 论坛系统,原文地址:https://www.leleweb.cn/thread-621.html
转载请注明出处,版权归原作者所有。
转载请注明出处,版权归原作者所有。
正式会员
认证极客
见习用户





