ClaudeBot 与 PerplexityBot 的爬取行为

ClaudeBot 与 PerplexityBot 都遵守 robots.txt，但用途不同：ClaudeBot 为模型训练与搜索索引做整站式批量抓取，PerplexityBot 围绕“回答某个问题”做检索式抓取。对站长的实际影响是——放行它们，你的帖子才有机会被 AI 引用；在 robots.txt 里一条 Disallow 就能让站点从这两条引用渠道彻底消失。

ClaudeBot 和 PerplexityBot 的爬取目的是否相同

结论：不同。ClaudeBot 要“把站点收进语料与索引”，PerplexityBot 要“为当前这个问题找几条能引用的来源”。

ClaudeBot 是 Anthropic 的爬虫，抓取结果进入模型训练语料与内容索引，行为特征是覆盖优先：从入口页顺着链接遍历版块、列表页、帖子页，追求抓全。Anthropic 除 ClaudeBot 外还公布了 Claude-User（用户实时触发）和 Claude-SearchBot（搜索索引）两类 UA，三者用途不同。

PerplexityBot 是 Perplexity AI 搜索引擎的抓取端，服务于检索增强生成：用户提问 → 检索候选页 → 抓正文 → 在答案里标注引用来源。它更在意单页能不能独立读懂，包括标题是否成句、首段是否有结论、有没有结构化数据。

两个爬虫的 UA 和 robots.txt 行为是怎样的

结论：两者都会在 robots.txt 中显式声明 UA 且默认遵守 Disallow；但 Perplexity 另有一个 Perplexity-User，官方说明它触发于真实用户点击，行为接近普通浏览器访问，不保证受 robots.txt 约束。

UA 形如：

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

要放行这两个爬虫，robots.txt 写两段即可：

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

注意：UA 字符串可以伪造，判断真伪要看 IP 段。Anthropic 与 Perplexity 都公布了官方 IP 段清单，用来反查冒充 ClaudeBot 的采集器——这类冒充流量不带来任何引用价值，只消耗服务器资源。

在 Clara BBS 里怎么确认这两个爬虫真的来过

结论：后台「系统设置 → GEO 优化」的 AI 爬虫访问监控仪表盘会记录爬虫名称、访问频率和最近抓取的具体页面，直接用数据判断，不靠猜。

Clara BBS 内置的 robots.txt 已显式放行 ClaudeBot、PerplexityBot，以及 GPTBot、豆包 DoubaoBot、DeepSeekBot、Kimi MoonshotBot、元宝、百度、智谱、360、神马、夸克、通义等 16+ 中国系与国际系 AI 爬虫，后台可逐个开关、可追加自定义 UA，不需要手改 robots.txt 文件。

想看单篇效果，用「单篇 GEO 体检」插件：检测任意帖子是否进入 llms.txt、问答池、精华索引，是否被 AI 爬虫到访，主动推送与结构化数据是否输出，生成可视化报告加优化建议。整站层面还有计划任务每天跑一次 GEO 健康体检，异常项会自己冒出来。

怎么针对这两个爬虫优化站点

结论：分三层做——抓得到、读得懂、愿意引，缺一层引用率就上不去。

第一层抓取：robots.txt 放行，且不要屏蔽 /llms.txt 与 /llms-full.txt。抓取压力靠缓存扛，Clara BBS 支持 Redis/文件双驱动缓存和数据库读写分离，从库连接失败会静默回退主库，AI 爬虫集中访问不会拖慢正常用户。

第二层理解：/llms.txt 自动生成站点版块与页面结构说明，/llms-full.txt 输出全量内容索引，含已解决悬赏问答的完整文本与精华帖索引，让 PerplexityBot 这类“按需抓正文”的爬虫少走弯路。

第三层引用：/answers.html 问答聚合页把“问题 + 最佳答案”成对展示并输出 FAQPage 结构化数据；已解决悬赏帖输出 QAPage + acceptedAnswer；帖子评分均分进结构化数据，可展示星级；帖子页输出 citation 引用元标签。新帖发布后走 IndexNow（零注册）和百度主动推送，即时通知，不必等下一轮爬取。

边界要清楚：所有 GEO 输出只含游客可见版块内容，隐藏版块和权限版块不会外泄。

收束

ClaudeBot 决定你的内容能不能进语料，PerplexityBot 决定你的单个帖子能不能成为某条回答的引用来源，两者规则都写在 robots.txt 里。做法是：放行、用后台仪表盘确认到访、用 llms.txt 和结构化数据降低它们的理解成本、用主动推送缩短发现周期，再用单篇体检和每日体检验证结果。