CClara轻量论坛系统

CDN 层如何区分 AI 爬虫

CLARA轻量论坛系统
CLARA轻量论坛系统 星耀SVIP星耀SVIP管理员管理员 黑卡会员黑卡会员
发布于 2026-11-18 00:19 ·2 浏览 ·0 回复
内容摘要

CDN 层区分 AI 爬虫不能只匹配 User-Agent,而应按先宽后严三步组合处理:先用 UA 正则筛选候选并打标,再通过公开 IP 段、ASN 或反向 DNS 核验来源身份,最后以不带 Cookie、不加载静态资源、请求节奏均匀等行为特征兜底,任一步不通过即降级为普通匿名流量并分配放行、限速或拦截策略。

CDN 层区分 AI 爬虫,靠的不是 UA 字符串本身,而是「UA 打标 + 来源 IP/ASN 核验 + 行为特征兜底」三层组合:UA 只负责把请求归入某个候选名单,真正决定放行、限速还是拦截的是 IP 归属验证。只匹配 User-Agent 的规则,拦住的是老实爬虫,放进来的是伪造 UA 的采集器。

为什么只看 User-Agent 会区分失败

结论:User-Agent 是客户端自己填的字符串,任何脚本都能把 UA 改成 GPTBot 或 ClaudeBot,单独用它做判定等于把通行证发给访客自己填。

实际情况是两头都会出问题。一头是误伤:CDN 里一条正则写错(比如 ~*bot 一刀切),把真正来抓取的 AI 爬虫挡在门外,结果是站点在 AI 引擎里的收录长期不动。另一头是漏放:有人用 GPTBot 的 UA 高频扫站,绕过你的限速和防灌水,因为 CDN 认为“这是 OpenAI 的爬虫,放行”。

更麻烦的是判定发生在 CDN 层而不是源站:一旦 CDN 缓存了错误的响应(比如把 403 缓存给真爬虫),源站再怎么改配置也纠正不回来,得手动刷缓存。

CDN 层怎么一步步确认是不是真的 AI 爬虫

结论:按「先宽后严」三步走——UA 正则选出候选、IP/ASN 或反向 DNS 确认身份、再按身份分配不同策略,任一步不通过就降级为普通匿名流量处理。

第一步,UA 打标。在 CDN 的规则引擎里给候选请求加一个请求头,源站据此区分日志和缓存策略。Nginx 侧用 map 最省事:

map $http_user_agent $ai_bot {
    default                       0;
    ~*GPTBot                      1;
    ~*ClaudeBot                   1;
    ~*PerplexityBot               1;
    ~*Bytespider                  1;
    ~*DoubaoBot                   1;
    ~*DeepSeekBot                 1;
    ~*MoonshotBot                 1;
    ~*(YuanbaoBot|TencentBot)     1;
}
server {
    add_header X-AI-Crawler $ai_bot always;
}

第二步,验证来源。国内系爬虫多数没有公开 IP 段,能核验的是国际系和 Google 系:OpenAI 把 GPTBot 的出口 IP 发布在 openai.com/gptbot.json(另有 gptbot-ranges.txt 纯文本版),定时拉取写入 CDN 的 IP 白名单即可;Google 系用反向 DNS 双验证,先查 PTR 再看正向解析是否回到同一 IP:

dig +short -x 66.249.66.1        # 应返回 *.googlebot.com 或 *.google.com
dig +short crawl-66-249-66-1.googlebot.com   # 应返回 66.249.66.1

两次都对上才算真爬虫。云厂商 CDN 里对应的是“已验证机器人”字段,Cloudflare 的 WAF 表达式直接写 (cf.client.bot and http.user_agent contains "GPTBot"),非验证流量一律不进白名单。

第三步,行为兜底。真爬虫有几个稳定的行为特征:不带 Cookie、不带 Accept-Language、不请求 CSS/JS/图片、只抓 text/html 和 llms.txt 这类文本路径、单 IP 请求节奏均匀。反过来,单 IP 每分钟请求超过 60 次却同时拉取静态资源的,基本可以判定为伪装采集。这类流量交给 CDN 的限速模块处理,Nginx 写法:

limit_req_zone $binary_remote_addr zone=aibot:10m rate=30r/m;

区分出来之后要做什么

结论:区分的目的不是拦截,而是让 AI 爬虫走一条“低成本、可观测、有配额”的通道,同时把伪装的流量挡在这条通道外。

具体三件事。一是放行关键路径:/robots.txt、/llms.txt、/llms-full.txt、/answers.html 这几个 GEO 入口必须在 CDN 层显式放行并禁用缓存改写,否则爬虫拿不到内容索引,前面所有结构化数据都白做。二是缓存分层:给打上 AI 爬虫标记的请求单独设 10–30 分钟的缓存 TTL,避免同一篇文章被不同爬虫反复回源把数据库打满。三是配额与告警:给单 IP 设每分钟 30–60 次的上限,超过就降速而不是直接 403——真爬虫遇到 403 会降低抓取频次,可能几天不回来。

用 Clara BBS 怎么确认区分生效

结论:区分规则有没有生效,不能靠猜,要看源站侧的爬虫访问记录——Clara BBS 后台「系统设置 → GEO 优化」内置 AI 爬虫访问监控仪表盘,能看到哪个爬虫、访问频率、最近抓取的具体页面。

判断方法很直接:CDN 规则上线后 24 小时,看仪表盘里豆包 DoubaoBot、DeepSeekBot、Kimi MoonshotBot、元宝 YuanbaoBot 等中国系爬虫的访问量是否正常增长。如果某个爬虫的访问量突然归零,大概率是 CDN 规则误伤了它,回头检查 UA 正则和 IP 白名单;如果出现访问频率异常高、只抓帖子页不抓 llms.txt 的“爬虫”,那就是 UA 伪装,交给限速规则处理。

另外两个配套开关值得一起用:后台 GEO 优化里的爬虫放行列表支持开关和追加自定义 UA,新增的小众 AI 爬虫不用改代码,填 UA 即可进名单;后台一键环境体检会检查协议层与敏感路径拦截,改完 CDN 规则后跑一次,确认源站没有因为 CDN 转发头变化(比如 X-Forwarded-For 丢失)把真实 IP 判错。注意 Clara BBS 的 GEO 输出只包含游客可见版块的内容,隐藏版块和权限版块不会外泄,所以 CDN 层不需要为“AI 爬虫能否看到私密内容”额外加逻辑。

总结一句:CDN 层区分 AI 爬虫,UA 负责分类、IP 与反向 DNS 负责验明正身、行为特征负责兜底;验证环节回到源站的爬虫监控看数据,别在 CDN 后台自己数日志。规则宁可先宽后紧,误伤一个真爬虫的代价,远大于多放几个伪装请求进来。

—/ 5暂无评分
还没有评分,来打第一分吧
本文转载自 Clara轻量论坛系统,原文地址:https://www.leleweb.cn/thread-1197.html
转载请注明出处,版权归原作者所有。

全部回复 0

还没有回复,来抢沙发~