结论:能不能被收录,关键不在页面类型本身,而在于页面是否对游客开放、爬虫有没有被放行、有没有主动把新内容推出去,这三点做到位,列表页和聚合页都会被正常发现。
① 先确认访问权限。系统对外输出(包括问答聚合页、全量内容索引这类页面)只包含游客可见版块的内容,隐藏版块或需要权限的版块帖子不会被输出,自然也进不了搜索引擎;如果某个页面登录后才看得到,爬虫同样抓不到。
② 检查 GEO 开关与 robots.txt。后台「系统设置→GEO 优化」的开关默认全开,robots.txt 会自动放行豆包、DeepSeek、元宝、Kimi、百度等 16+ 中国系爬虫和 GPTBot、ClaudeBot 等国际系,一旦手动关闭或加了 UA 黑名单就会挡住抓取,建议保持开启。
③ 主动推送加速发现。在百度站长平台拿到推送 Token 填进后台,IndexNow 协议默认就是开着的,新帖发布时会自动推送;不做推送也能被收,只是要等爬虫自己再来,一般 1-4 周。
④ 之后到后台 GEO 页的「AI 爬虫访问监控」看哪个爬虫来过、抓的是哪一页。如果长期一条记录都没有,问题基本出在权限或 robots 上,而不是页面本身写得不合搜索引擎口味。
正式会员
认证极客
钻石卡会员






