AI搜索优化先查页面能否访问、AI爬虫规则是否与既定选择一致、正文能否直接从HTML读到，以及站点文件是否具备。逐项看“查什么、为什么、怎样算通过”后再改，任何一项都不能保证被AI引用、推荐或排名。
你可以用我们的 GEO 自查 输入网址。它会在当下抓取该页、robots.txt、sitemap 和 llms.txt，一次只检查一个页面；它不向AI产品提问，不衡量引用、推荐或排名，也不评估内容质量。
访问：先确认页面可以打开
- 页面打开： 查输入网址能否返回页面，否则后续可读性检查没有对象。通过是工具能打开该页。
- HTTPS： 查页面是否使用HTTPS；这只确认访问方式，不代表任何AI产品会抓取或引用。通过是页面使用HTTPS。
AI搜索优化：逐个核对AI爬虫规则
先把搜索、训练和按用户请求取页分开，再决定当前页允许谁访问。
| 抓取器或令牌 | 文档给出的用途 | 你的通过表现 |
|---|---|---|
| Googlebot、Google-Extended | 按 Google 的常见抓取工具说明，Google常见抓取器自动抓取时遵守robots.txt，Googlebot规则影响Google Search及其全部功能；Google-Extended没有单独的HTTP user-agent，只是robots.txt控制令牌，用于管理被抓内容是否用于训练未来Gemini模型以及用于Gemini Apps、Vertex AI的grounding，且不影响Search收录，也不是排名信号。 | 分开决定Googlebot的搜索访问和Google-Extended的训练、grounding用途。 |
| OAI-SearchBot、GPTBot | 按 OpenAI 的爬虫说明，OAI-SearchBot用于在ChatGPT搜索功能中展示网站，GPTBot的限制用于表示抓取内容不应被用于训练其生成式AI基础模型；两项设置彼此独立。 | 分别决定搜索抓取和训练抓取，不用其中一个决定代替另一个。 |
| ClaudeBot、Claude-User、Claude-SearchBot | 按 Anthropic 的爬虫说明，ClaudeBot收集的网页内容可能用于训练模型，Claude-User处理用户问题触发的网站访问，Claude-SearchBot用于改善搜索结果质量。 | 区分训练、用户请求和搜索用途，再分别设置访问选择。 |
| PerplexityBot、Perplexity-User | 按 Perplexity 爬虫文档，PerplexityBot用于在搜索结果中展示和链接网站，不用于抓取AI基础模型训练内容；Perplexity-User处理用户请求触发的取页，不用于网页爬取或训练内容，并且通常忽略robots.txt。 | 同时检查两者，不把robots.txt视为阻止Perplexity-User取页的保证。 |
- robots.txt状态： 看工具能否取得该文件、预定规则是否确实存在；这是执行访问选择的基础。通过是状态可核对，规则与你的选择一致。
- AI搜索爬虫能否抓取： 看当前页允许哪些搜索类抓取器访问；搜索与训练不是同一用途。通过是预期访问范围没有被误写。
- 训练爬虫设置： 看GPTBot、ClaudeBot、Google-Extended等是否分别符合你的选择。通过是每项用途清楚，不由搜索抓取许可推断训练许可。
页面可读性：确认页面信号出现在HTML中
按 Google 的AI功能说明，SEO最佳实践仍适用于AI Overviews和AI Mode，无需额外技术要求或专门的AI优化；页面要有资格成为支持链接，须已索引并有资格在Google Search中显示摘要，但满足这些条件也不保证被抓取、索引或展示。因此要查的是基础状态，不是“AI可见度分数”。
- HTML与正文： 查响应是否返回HTML，以及正文是否包含在HTML中。通过是工具能观察到返回类型和HTML正文。
- noindex / nosnippet： 查是否出现这两个页面级标记，因为索引资格与摘要资格需要分别核对。通过是工具未报告它们。
- title： 查页面是否有标题，给读者明确的页面主题。通过是工具报告已有title。
- description： 查页面是否有描述，帮助读者快速理解页面用途。通过是工具报告已有description。
- H1： 查是否恰好有一个主要标题，避免页面层级含糊。通过是工具观察到exactly one H1。
- 结构化数据： 查页面是否提供明确的字段线索；存在性通过不等于内容质量或合规性已经得到验证。
- canonical地址： 查是否声明规范地址，让首选页面版本保持清楚。通过是canonical存在并指向你希望采用的地址。
- 页面语言： 查是否有清晰的页面语言信号。通过是工具能够识别语言声明。
- 页面日期： 查是否标明日期，让读者判断内容时效。通过是工具能够识别页面日期，而不是据此断言内容仍然最新。
站点文件：分别判断sitemap与llms.txt
- 有sitemap： 查文件是否存在并能取得，让站点URL有一份明确的文件清单可供检查。通过是工具报告已有sitemap；文件存在本身不是收录或AI引用的保证。
- llms.txt： 按 llms.txt提案说明，它仍是标准化文件提案，可把Markdown文件放在站点根目录或站内路径，并覆盖该路径下的页面；文件可提供背景、指引和详细Markdown文件链接，唯一必需的部分是以项目或网站名称为内容的H1。若决定添加，文件级自查表现是具备这个H1并清楚列出相关内容，但工具仍会把llms.txt记为“说明”，不是“通过”。
截至2026年10月，我们没有找到OpenAI、Anthropic或Perplexity说明其爬虫会读取其他网站llms.txt的一手公开说明。因此，不要把文件存在当作已被这些产品采用的证据。
按访问、AI爬虫、页面可读性和站点文件的顺序逐项记录，再在改动后重新检查。所有项目通过，只说明当下观察到的这些基础条件没有明显问题，不代表内容质量，也不代表会被任何AI产品引用、推荐或排名。