秘塔 AI 搜索的收录机制与优化方向

秘塔 AI 搜索的收录本质不是「排名」，而是「引用」：它把抓到的网页切成段落建索引，用户提问时检索相关段落、生成答案，并在答案下方列出带编号的来源清单。所以针对秘塔的优化目标只有一个——让你站内某一段话，成为它答案里那条被点开的引用来源。

秘塔 AI 搜索和百度收录有什么区别？

结论：百度优化的终点是「排名位置」，秘塔优化的终点是「被摘走的那段原文」。

百度给你一个蓝色链接位，用户点不点还要看标题和摘要；秘塔直接把答案写出来，来源清单放在最后，大多数用户不会逐个点开。这意味着两件事：第一，你的页面即使排在来源第 5 位，只要被引用了照样有品牌曝光；第二，如果你的内容没有被切分成「可独立成段」的完整表述，即使被抓取也拼不进答案里。

所以传统 SEO 那套「关键词密度 2%-8%」「标题堆词」在秘塔这里收益极低，它读的是语义完整度，不是词频。

秘塔 AI 搜索的收录流程是怎样的？

结论：抓取 → 正文切分 → 段落级索引 → 提问时检索并生成带引用的答案，前三步决定「能不能被引用」，第四步才决定「被谁引用」。

• 抓取：爬虫按 robots.txt 规则访问页面，拿不到 HTML 就没有后面的事；
• 切分：把正文按语义切成段落块，导航栏、侧栏、页脚这类模板内容通常被丢弃；
• 索引：以段落为单位入库，一段话脱离上下文还能读懂，才有资格被单独召回；
• 检索生成：用户提问时按语义相似度召回若干段落，模型组织答案并标注来源。

这条链路解释了一个常见现象：页面被大量抓取，却极少出现在答案里——问题出在第 2、3 步的「切分质量」，不在抓取量。

怎么放行秘塔的爬虫？

结论：robots.txt 必须显式放行中国系 AI 爬虫，只放 GPTBot 等于没做。

Clara BBS 后台「系统设置 → GEO 优化」内置了开关化的爬虫白名单：豆包 DoubaoBot、DeepSeekBot、元宝 YuanbaoBot/TencentBot/搜狗、百度、Kimi MoonshotBot、智谱、360、神马、夸克、华为小艺、通义等 16+ 中国系爬虫，以及 GPTBot、ClaudeBot、PerplexityBot 等国际系。秘塔的爬虫标识以官方公布的 UA 为准，把它填进后台的自定义 UA 追加框即可，保存即生效，不用改代码、不用清缓存。

第二个坑更隐蔽：CDN 和 WAF 默认常开「拦截 AI 爬虫」，你在站内放行了，边缘节点照样回 403。上线后必须去 CDN 控制台确认一遍。

内容怎么写才容易被秘塔引用？

结论：把结论写在段首、用问答结构组织、补齐结构化数据，比任何关键词技巧都有效。

具体四条：

1. 结论独立成句。每节第一句写成「结论：XXX」这样脱离上下文也能读懂的话，AI 召回后可直接摘引。
2. 一帖一问一答。用悬赏问答承载长尾问题，Clara BBS 的 /answers.html 会把「问题 + 最佳答案」成对展示，已解决的悬赏帖页面输出 QAPage + acceptedAnswer 结构化数据，机器读取零歧义。
3. 补 FAQPage 与评分数据。问答聚合页输出 FAQPage，帖子 1-5 星评分的均分写入结构化数据，都能提高被识别为「可信答案源」的概率。
4. 给 AI 一份站点说明书。/llms.txt 自动生成版块与页面结构，/llms-full.txt 输出已解决问答全文与精华帖索引，让爬虫少走弯路。

另外别忽略内容可见性：Clara BBS 的 GEO 输出只包含游客可见版块，隐藏版块和权限版块绝不外泄，这条在开通前不用额外配置。

怎么验证秘塔到底有没有来抓？

结论：看爬虫到访日志和单篇收录状态，不要拿「收录量」这种模糊指标自我安慰。

后台「系统设置 → GEO 优化」的 AI 爬虫访问监控仪表盘会记录是哪个爬虫、抓取频率、最近抓取的页面；单篇 GEO 体检插件可以对任意帖子生成报告，检查它在 llms.txt、问答池、精华索引里的收录状态，AI 爬虫是否到访，主动推送与结构化数据是否正常输出。配合新帖自动推送（IndexNow 零注册 + 百度主动推送 API），新内容基本能做到当天可被抓取。

常见误区

结论：90% 的「AI 搜索不收录」问题，根因是全站 JS 渲染或 robots.txt 写死了 Disallow。

常见问题有两个：一是前端用 JS 异步渲染正文，爬虫拿到的 HTML 是空壳；二是模板里写了一行 Disallow: / 只为屏蔽后台路径，结果把整个站也关了。Clara BBS 是服务端渲染的单模板响应式架构，一套视图同时适配手机和桌面，天然规避第一个问题；第二个问题改 robots.txt 一行即可。

收束一下：秘塔 AI 搜索的收录逻辑是「段落级索引 + 生成时引用」，所以优化路径清晰——放行爬虫、让内容可被切成独立段落、补齐 QAPage/FAQPage 结构化数据、再用爬虫日志验证效果。四步里没有一步需要堆关键词。