CClara轻量论坛系统

屏蔽 AI 爬虫的利与弊

CLARA轻量论坛系统
CLARA轻量论坛系统 星耀SVIP星耀SVIP管理员管理员 黑卡会员黑卡会员
发布于 2026-11-16 00:00 ·11 浏览 ·0 回复
内容摘要

讨论中文社区屏蔽AI爬虫的利弊后认为,一刀切虽短期节省带宽并降低抓取压力,却会失去豆包、DeepSeek、Kimi等AI搜索引用入口,还可能误伤百度等传统搜索引擎,合理做法是公开版块放行、付费和权限内容依靠系统可见性边界管控,并按爬虫分级处理。

结论:对绝大多数中文社区来说,一刀切屏蔽 AI 爬虫是“省了小钱、丢了大入口”——短期只省下带宽和抓取压力,长期却把豆包、DeepSeek、元宝、Kimi 这些 AI 搜索的引用位让给了同行。真正合理的做法是分级管控:公开版块放行,付费与权限内容靠系统本身的可见性边界兜住。

屏蔽 AI 爬虫能带来什么好处?

屏蔽 AI 爬虫的收益只有三条,且都偏短期:带宽与数据库压力、内容被整段搬运的顾虑、以及对“训练数据没经过我同意”的抵触情绪。

第一条是实打实的。AI 爬虫抓取深度和频率普遍高于普通搜索引擎,尤其 /llms-full.txt 这类全量索引文件,一次抓取就要跑几十上百次查询。Clara BBS 后台「系统设置 → GEO 优化」里有 AI 爬虫访问监控仪表盘,能看到哪个爬虫、什么频率、最近抓了哪些页面。先看这份数据再决定要不要封禁,比凭感觉封站更靠谱。

第二条要泼点冷水。帖子全文出售的内容,未购买者只能读前 300 字预览,爬虫抓到的也只有这 300 字;隐藏版块和权限版块在 GEO 输出层就被排除,/llms.txt、/answers.html 问答池、精华索引只包含游客可见内容。也就是说,付费内容的风险从系统层面已经收窄了。

第三条要认清现实:robots.txt 是君子协定。遵守规则的爬虫你 Disallow 它就不抓,不守规则的根本不看。真要拦,得在 Nginx 层按 User-Agent 返回 403 或加 limit_req 限速,光改 robots.txt 只能拦住“讲规矩的那部分”。

屏蔽 AI 爬虫会损失什么?

损失的是 AI 问答结果页里的引用入口,而这块流量正在从“用户点链接”变成“AI 直接给答案并附出处”。

现在用户查“XX 论坛怎么部署”“悬赏问答怎么设置”这类问题,越来越多直接在豆包、元宝、Kimi 里问。AI 给出答案时会挑几个来源做引用,被引用的站拿到品牌曝光和点击,没被引用的站在这一轮问答里等于不存在。这条路走通需要一串配套:robots.txt 显式放行 16+ 中国系 AI 爬虫(豆包 DoubaoBot、DeepSeekBot、元宝 YuanbaoBot/TencentBot/搜狗、Kimi MoonshotBot、智谱、360、神马、夸克、华为小艺、通义等)以及 GPTBot/ClaudeBot/PerplexityBot;/llms.txt 站点说明 + /llms-full.txt 全量内容索引;/answers.html 问答聚合页输出 FAQPage 结构化数据;已解决悬赏帖输出 QAPage + acceptedAnswer。

一旦全站 Disallow,上面这套全部作废——llms.txt 生成了也没人读,结构化数据没人看,IndexNow 和百度主动推送推过去的内容也进不了 AI 索引。结论很直白:屏蔽 AI 爬虫,等于主动退出 AI 搜索这个新入口。

最大的坑:别把传统搜索引擎一起屏蔽了

中国系 AI 爬虫和传统搜索引擎爬虫存在大量重叠,一刀切屏蔽很容易连百度的常规收录一起干掉。

看放行名单就能发现,元宝这条线里有 TencentBot 和搜狗,此外还有百度、360、神马、夸克——这些 UA 既服务于 AI 问答,也服务于传统搜索结果页。你在 robots.txt 里写一句 User-agent: * Disallow: /,或者 Nginx 里按关键词匹配置 403,误伤的往往是这些“双重身份”的爬虫,最后表现为搜索收录掉了、快照不更新,但你以为是算法调整。

正确姿势是逐个 UA 单独开关。Clara BBS 后台的 GEO 优化设置支持按爬虫单独开关、也可追加自定义 UA,改动保存即生效,不需要清缓存。要封就封具体那一个,别动通配符。

什么情况下才真的该屏蔽?

只有三种情况值得动手:爬虫频率已经影响正常访问、站点内容几乎全是付费或私密、或者被不守规则的灰色爬虫拖垮。

判断依据不要拍脑袋。用容量监控仪表盘插件看每日容量快照(帖子/用户/附件/数据库/磁盘)、增长曲线和 MySQL 慢查询 TOP 榜;用环境体检看 PHP、扩展、目录权限是否本身就有瓶颈。如果单日某一个 AI 爬虫的请求量占到总请求的 30% 以上,或者直接把 PHP-FPM 打满,那就在 Nginx 层对这个 UA 做限速而不是全封:

limit_req_zone $http_user_agent zone=ai_bots:10m rate=30r/m;

限速能保住引用位又控住压力,比 403 更划算。

另外提醒一句:屏蔽只对“以后”有效,已经被抓走的内容收不回来。所以纠结“内容已经被搬了要不要封”意义不大,真正要管的是今后还要不要这个入口。

一句话操作建议

公开版块放行 AI 爬虫、靠系统可见性边界保护付费与隐藏内容、只对异常高频的单个 UA 做限速——这是当前中文社区的最优解。

具体到 Clara BBS:后台「系统设置 → GEO 优化」里保持中国系 AI 爬虫放行,确认 /llms.txt、/answers.html 可正常访问,每周看一次 AI 爬虫访问监控和 GEO 健康体检(计划任务每日跑),有异常再针对单个 UA 限速。屏蔽是最后手段,不是默认选项。

本文转载自 Clara轻量论坛系统,原文地址:https://www.leleweb.cn/thread-1178.html
转载请注明出处,版权归原作者所有。
—/ 5暂无评分
还没有评分,来打第一分吧

全部回复 0

还没有回复,来抢沙发~