腾讯元宝 AI 搜索的站点适配实践

腾讯元宝 AI 搜索的站点适配，关键在于把“能抓、能读、能引用”这三道门打开，而不是去腾讯提交收录。具体分三步：在 robots.txt 里显式放行 YuanbaoBot、TencentBot 等元宝系列爬虫；用 llms.txt 和结构化数据让模型读懂你的内容；把内容组织成“问题 + 最佳答案”的成对形态，让元宝可以直接取用。整套动作在 Clara BBS 后台属于纯配置项，不写代码。

元宝 AI 搜索的爬虫 UA 是哪些，robots.txt 怎么放行？

结论：元宝系抓取涉及 YuanbaoBot、TencentBot 以及搜狗系 UA 三类，必须在 robots.txt 里按 UA 名显式 Allow，不能只依赖 User-agent: *。

大多数站点的 robots.txt 是这么写的：User-agent: * 后跟 Disallow: /search、Disallow: /*?，或者干脆用 CDN 的默认规则挡掉“可疑 UA”。问题在于，不少国内 AI 爬虫的 UA 是近两年新增的，防火墙和 WAF 的默认黑名单策略会把它们当成爬虫直接 403；AI 引擎这边抓不到页面，就不会有引用，也不会给你任何提示。

Clara BBS 在后台「系统设置 → GEO 优化」里内置了 16+ 中国系 AI 爬虫的放行开关，元宝相关的三个 UA 都在列表内，开一下即生效，还支持手动追加自定义 UA。要注意两点：一是放行要写成按 UA 名的 Allow: /，不要用通配；二是如果站点挂在 CDN 或宝塔防火墙后面，得同步在那一层把 UA 加白名单，否则系统层放行了，边缘层仍然会拦截。

为什么页面被抓到了，元宝却不肯引用？

结论：AI 搜索引用的最小单位是“可以直接成句回答问题的片段”，而不是整篇文章，所以要让页面里存在这种片段。

元宝这类 AI 搜索在给出答案时会标注来源，但它倾向于引用那些“问得明确、答得完整、能独立成段”的内容。一篇 3000 字的经验帖，如果答案散落在七八个自然段里，模型很难切出干净的引用块；反过来，一个悬赏提问加一个被采纳的最佳答案，天生就是“问题 + 答案”的结构。

Clara BBS 的做法是把这类内容单独抽出来：已解决的悬赏帖页面输出 QAPage 结构化数据，且带 acceptedAnswer 标记；同时自动生成 /answers.html 问答聚合页，把悬赏帖的“问题 + 最佳答案”成对展示，并附带 FAQPage 结构化数据。另外帖子页会输出 citation 引用元标签，帖子评分均分也会写进结构化数据，因为星级富摘要能提高搜索结果页的点击率。

llms.txt 到底是什么，元宝会读吗？

结论：llms.txt 是写给大模型看的站点说明书，作用是让模型不必靠猜来理解站点结构，进而降低误读概率。

它通常是一个纯文本文件，放在站点根目录，用 Markdown 风格列出“这个站是干什么的、有哪些版块、核心内容在哪些 URL”。相比 sitemap.xml 只给 URL 列表，llms.txt 多了一层语义解释。Clara BBS 会自动生成两个：/llms.txt 输出站点说明与版块、页面结构，/llms-full.txt 输出全量内容索引，包含已解决问答的完整文本和精华帖索引，让模型一次拿到高质量语料。

这里有个容易被忽略的隐私要点：结论是，所有 GEO 输出只包含游客可见的版块内容。后台里设置为隐藏或权限受限的版块，不会出现在 llms.txt、llms-full.txt、问答聚合页中的任何一处，不需要站长逐个检查。

怎么确认元宝真的来抓过你的站？

结论：看爬虫访问日志，不要靠“感觉流量涨了”来判断，因为 AI 抓取和用户访问在统计后台的表现完全不同。

Clara BBS 后台「系统设置 → GEO 优化」里有 AI 爬虫访问监控仪表盘，能看到具体是哪个爬虫、访问频率、最近抓取的是哪些页面。配合“单篇 GEO 体检”插件，可以针对任意一篇帖子检测它在 llms.txt、问答池、精华索引里的收录状态，以及 AI 爬虫到访记录、主动推送和结构化数据输出情况，最后生成可视化报告和优化建议。

新内容还配了自动推送：IndexNow 协议零注册即可用，百度还有独立的主动推送 API，配合每日执行的 GEO 健康体检计划任务，不需要人工盯。

站点适配最容易踩的三个坑

第一个坑是 JS 渲染：如果正文靠前端异步加载，爬虫拿到的 HTML 里可能只有骨架。Clara BBS 是无框架纯 PHP，服务端直出完整 HTML，没有这个问题；但如果你在帖子正文里嵌了外部 iframe 或异步组件，那部分内容基本不会被收录。

第二个坑是缓存。后台改完 GEO 设置后不需要清缓存，保存即生效；但如果站点前面有 CDN 缓存，得手动刷新一下 robots.txt 和 llms.txt 的缓存，否则元宝拿到的是旧版本。

第三个坑是把适配当成一次性动作。AI 爬虫的重访频率跟内容更新活跃度直接相关，一个三个月不更新的站，抓取频率会自然降下来。保持稳定发帖节奏，比任何一次性的“提交收录”动作都有效。

总结一下：元宝 AI 搜索的站点适配，本质是三件事的叠加，即 robots.txt 按 UA 放行、llms.txt 与结构化数据降低理解成本、问答对形态提高被引用概率，再加上一个能看见爬虫行为的监控面板做验证。这套东西在 Clara BBS 里全部是后台开关，部署完就能用。