输入网址
工具怎么判断
结果是怎么来的
它真的访问了我的网站吗?
是。你点「开始自查」后,本站服务器用 aiogeo-check/1.0 这个标识向你的网址发起请求,最多跟随 5 次跳转,然后再请求同域名下的 robots.txt、sitemap 和 llms.txt。你可以在自己的访问日志里看到这几次请求。
「某个爬虫被拦」是怎么算出来的?
按 robots 协议(RFC 9309)的规则读你的 robots.txt:先找写明该爬虫名字的规则组,没有就用通配组;多条规则命中时取路径最长的一条,允许和禁止一样长时取允许。robots.txt 返回 4xx 视为不限制,返回 5xx 视为全部禁止。
为什么只列了这几家的爬虫?
只列有官方说明页可查的:OpenAI、Anthropic、Perplexity、Google 和百度。没有公开爬虫文档的 AI 产品,工具不替它下判断。
全部通过,就会被 AI 引用吗?
不会因此保证。通过只说明抓取和读取这一层没有障碍。AI 的回答引用哪些页面,由各家产品自己决定。
查不了哪些网址?
需要登录才能看的页面、内网地址、直接用 IP 的地址、非默认端口的地址。页面超过 1.5MB 时只读前 1.5MB。