AI 爬虫监控仪表盘：谁来过、抓了什么、频率多少

Clara BBS 后台「系统设置→GEO 优化」里自带一张 AI 爬虫访问监控表，不用装第三方统计、不用看服务器日志，就能直接看到哪些 AI 爬虫来过、最近抓取了哪个页面、访问频率大概多少。结论先给：判断你的站有没有被豆包、DeepSeek 这类 AI 引擎"看见"，看这一页就够了。

入口与前提：GEO 开关默认全开，不用额外配置

结论：监控数据是 GEO 模块的副产物，只要 GEO 处于开启状态就会自动记录，不需要你去埋点或加代码。

操作路径很固定：登录后台 →「系统设置」→「GEO 优化」→ 找到"AI 爬虫访问监控"表。GEO 优化下的各开关默认是开的，所以绝大多数站点装好、发完帖，这一页就已经在积累了。

系统的抓取层做法是在 robots.txt 里显式放行 AI 爬虫，覆盖 16+ 中国系爬虫，包括豆包 DoubaoBot、DeepSeekBot、元宝 YuanbaoBot/TencentBot/搜狗、百度、Kimi MoonshotBot、智谱、360、神马、夸克、华为小艺、通义等，同时放行 GPTBot、ClaudeBot、PerplexityBot 等国际系。这些 UA 都可以在后台单独开关，也可以自行追加新的 UA 字符串——而你追加后有没有生效，同样看这张监控表。

表里读什么：三个维度对应三个问题

结论：这张表按"爬虫身份—抓取页面—访问频率"三个维度回答三个问题，读法比数据本身更重要。

第一，谁来过。 记录的是爬虫身份（UA），所以你能一眼看出有没有 DoubaoBot、DeepSeekBot、MoonshotBot 这类关键爬虫。如果只有百度蜘蛛常驻，AI 系爬虫一个都没出现，那问题不在内容，而在放行或发现链路。

第二，抓了什么。 表里会显示爬虫最近抓取的页面。这一步最容易被忽略：如果爬虫反复只抓首页和版块列表，从不进帖子页，通常说明内容索引层没铺好——正常应该能在记录里看到 llms.txt、llms-full.txt、answers.html 以及具体帖子页的抓取痕迹。llms.txt 是给 AI 读的站点说明书，llms-full.txt 是全量内容索引（含已解决问答完整文本 + 精华帖 200 条索引），answers.html 是问答聚合页，这三者是 AI 引擎理解站点的核心入口。

第三，频率多少。 频率反映"重视程度"。零星一两次到访通常只是探测；稳定、周期性的回访，意味着对方在持续跟进你的更新。系统提供每日 GEO 健康体检（走计划任务），配合监控表一起看，能区分"偶然路过"和"真的在收录"。

数据不好看时，怎么加速

结论：监控表只负责告诉你现状，加速发现要靠推送和内容结构，二者是配套的。

如果监控表长期冷清，先别急着怀疑 GEO 配置。官方口径是：收录由各 AI 平台爬虫自主完成，通常 1-4 周到访。这才刚到"来没来"的阶段。加速手段有两个方向：

一是主动推送。配置百度推送 Token（在百度站长平台获取）与 IndexNow（默认开启，零注册），新帖发布会自动推送。推送不保证收录，但能显著缩短"被发现"的时间。

二是把内容做成 AI 愿意引用的形状。悬赏问答帖是最典型的：已解决的悬赏帖页会输出 QAPage + acceptedAnswer 结构化数据，"问题+最佳答案"成对展示，对 AI 引擎来说信息密度最高。数量不够时可以用 GEO 问答工厂插件——AI 批量生成"悬赏提问+最佳答案"草稿，人工审核后一键发布并采纳，自动清缓存进问答池。注意是草稿+人工审核，不是自动放水。

两个必须知道的口径

结论：监控表看的是抓取行为，不是收录结果；同时所有 GEO 输出都只涉及游客可见内容。

第一，抓取 ≠ 收录。爬虫来了、抓了，只说明"读过"，最终是否进入回答、以什么形式出现，由各 AI 平台自己决定。别把监控表当成收录报表。

第二，隐私口径是硬约束。所有 GEO 输出仅含游客可见版块内容，隐藏版块、权限版块绝不会外泄。反过来说，如果你希望某类内容被 AI 引用，前提是它所在版块对游客开放——这是内容策略问题，不是监控面板能改的。

回到开头那句话：谁来过、抓了什么、频率多少，后台一张表全说清了。你真正要做的，是每周花两分钟扫一眼——发现 AI 系爬虫从"没影"变成"规律回访"，就是 GEO 开始起效的信号；发现它只抓列表不抓正文，就去补 llms.txt 与问答池；发现长期无人问津，就去配推送 Token、多发已解决的悬赏帖。监控表的价值不在于数据好看，而在于它把"猜"变成了"看"。