llms.txt 是 llmstxt.org 的提案,作者为 Jeremy Howard,目标是让 AI 代理通过一个 Markdown 文件获得网站信息。要不要做:它是可选的低成本补充,不是 Google 为 AI Overviews 或 AI Mode 规定的必做项,也不能替代可抓取、可访问且正文清楚的页面。Google 的 AI 功能说明明确表示,网站无需为出现在这些功能中而新建机器可读文件、AI 文本文件或标记。
/llms.txt 是什么,谁提出,文件放在哪里
提案把目标文件定义为 Markdown 文件。它可以放在站点根目录,也可以放在站内任意路径;放在哪里,就覆盖该路径下的页面。文件可提供简短背景、使用指引,以及详细 Markdown 文件的链接。
作者将它与 sitemap 区分开:sitemap 用来列出页面,这个文件则提供面向 LLM 的精选概览。他还说明,robots.txt 用来表达可接受的访问范围,该文件是在代理协助用户、按需寻找信息时使用。
作者预期它主要帮助推理而不是训练,训练过程也可能利用其中的信息。这是对提案用途的预期,不代表各类 AI 产品已经采用或会实际读取它。
文件格式要写到什么程度
该格式唯一必需的部分,是用 H1 写出项目或网站名称。其余内容可以按提案所建议的背景、指引和文档链接来组织,不必把它当成复杂的强制规范。
如果摘要或链接已经过时,文件反而会给代理和访客提供错误导航,因此只收录你能持续维护的页面。提案还建议,对代理可能有用的页面,可在原 URL 后追加 .md,提供干净的 Markdown 版本。这是配套建议,不等于每个页面都必须这样做;关键内容仍应放在正常、可访问的页面中。
要不要做,先看是否真的有人会读
Google 的上述说明还表示,AI Overviews 和 AI Mode 没有额外准入要求或特殊优化,也没有必须添加的特殊 schema.org 结构化数据。即使页面满足相关要求,Google 也不保证一定抓取、索引或展示它。
在爬虫侧,OpenAI 的爬虫说明让自家开发者文档指向此类索引,并说明用于搜索的 OAI-SearchBot 与可能用于训练的 GPTBot 可以独立设置。这能说明其文档站和爬虫的管理方式,却不能证明其产品会读取其他网站的同类文件。
截至 2026 年 10 月,我们没有找到 OpenAI、Anthropic 或 Perplexity 的爬虫或产品会读取其他网站同类文件的一手公开说明。因此,你可以制作一份准确、简洁的摘要,但应把它视为补充导航,而不是被任何 AI 产品引用、推荐或排名的保证。
先把抓取和正文问题处理好
动手前,先确认目标页面可以打开,相关爬虫没有被 robots.txt 阻止,CDN 或托管环境没有拦截请求,重要信息存在于可读正文中,站内链接也能直接找到页面。
RFC 9309规定,规则文件必须以小写 /robots.txt 位于顶层路径并使用 UTF-8 编码;同时明确指出,robots.txt 规则不是访问授权或安全措施,把路径写进去反而可能让这些路径被公开发现。
自查时,可以分别核对 Googlebot、OAI-SearchBot 与 GPTBot 的规则是否符合你的用途选择。无论是否添加提案文件,都不能绕开抓取权限、网络访问和正文可读性这些基础问题。
用 GEO 自查先排基础问题
我们做的 GEO 自查 在你输入网址后,会实际读取该页面、robots.txt、sitemap 和目标提案文件,并按访问、AI 爬虫、页面可读性与站点文件分组报告。由于目标文件仍是一项提案,它只显示为“说明”,不会因为缺失就直接判成“问题”。
一次运行只检查一个页面。它不会向 AI 产品提问,不衡量网站被引用或推荐的频率,也不生成所谓“AI 可见度”分数或检查内容质量。因此,它适合用来发现访问和阅读障碍,不能回答某个 AI 产品会不会采用你的摘要文件。
警惕把可选文件说成必买项
如果服务商声称“没有这个文件就无法被 AI 收录”,先要求对方指出对应产品的一手公开说明,并说明适用范围。还要在付款前写清交付物究竟是问题说明、修改建议、代为修改还是后续复查,以及明确不能保证的结果。
截至 2026 年 10 月,我们没有找到任何平台或监管机构公布 GEO 优化或 GEO 推广服务价目、收费标准或市场价的公开说明;广告中的金额只是卖方自己的报价。对小网站而言,如果能准确维护一份简短摘要,可以把它作为低成本补充;否则,应优先保证页面可抓取、可访问、正文清楚,不必为“必选项”买单。