GPTBot 是 OpenAI 在公开文档中标明的网络爬虫用户代理，用于抓取公开网页，以支持相关产品与服务。网站可通过 robots.txt 允许或禁止。
禁止 GPTBot 后，依赖该抓取更新的功能更难读到新页面，但不能擦除已经进入训练或其他来源的旧描述，也不能阻止用户把页面粘贴进对话。
GPTBot 不是「所有 AI 爬虫」的总称。Anthropic、Perplexity 等另有文档化的爬虫名称；另有报道讨论未披露的抓取行为，见各产品词条的争议节。
| 名称 | GPTBot |
|---|---|
| 运营者 | OpenAI |
| 类型 | 网络爬虫（用户代理） |
| 控制方式 | robots.txt |
| 相关产品 | ChatGPT 等 OpenAI 服务 |
定义与范围
GPTBot 是可在服务器日志中识别的一类请求。本词条不把所有来自数据中心的流量都叫作 GPTBot。识别以官方文档公布的用户代理字符串为准。
机制
robots.txt 的 Allow / Disallow 针对 User-agent: GPTBot。语法与传统搜索爬虫相同，但规则集合需要单独写，因为禁止 Googlebot 并不自动禁止 GPTBot。
抓取成功只意味着页面进入 OpenAI 可处理的文本集合之一，不保证出现在某一个用户的答案里。
在生成式引擎优化中的位置
希望被 ChatGPT 检索类功能读到公开页时，通常需要允许 GPTBot 访问那些页。同时禁止又要求「被 ChatGPT 引用」，在机制上自相矛盾。
名称与用法
GPTBot是本百科对「OpenAI用于抓取公开网页的爬虫」这一对象的正条名称。条目地址使用拉丁字母标识符「gptbot」，便于稳定引用；中文标题以行业通行写法为准，不随一次营销文案改名。
中文讨论里，GPTBot有时被随手写成「SEO」「AI 优化」或直接叫成某一个聊天产品的名字。这些叫法或者过宽，或者过窄。百科把它们视为不精确的别称，而不是本词条的同义词。
与「ChatGPT」的名称相近时，仍分列条目。混用会造成监测表无法分列、也无法判断失败发生在哪一层。
组成与分类
GPTBot可以从对象类型上再拆一层，以免和「ChatGPT」共用同一个分类标签。下列分项只服务本词条，不是通用行业标准编号。
- 独立应用或网站中的对话 / 搜索界面。
- 嵌在传统搜索结果页中的生成式模块。
- 办公套件或浏览器里的助手，可能混合内部文档。
- 与「ChatGPT」重叠的入口，但爬虫名称与来源 UI 仍应分列。
观察与记录
观察者把 GPTBot 单独建列：记录问句、是否联网、日期、答案全文、来源 URL 与错误。不能和其他产品共用一张未标注的截图。
典型问句「哪家更适合我」用于对照界面差异，而不是用于承诺效果。出现品牌名、出现 URL、出现推荐句，要分三项记录。
对应爬虫是否被 robots.txt 放行，属于可核验的前置条件，但仍不是「一定被写进答案」的证明。
误解与界限
常见不精确说法是把 GPTBot 理解成「让 AI 提到我们」的口号。本词条的对象更窄：OpenAI用于抓取公开网页的爬虫。口号无法对应到一条监测记录。
另一种混淆是把 GPTBot 写成「ChatGPT」的别名。二者可以同时出现在同一份方案里，但失败模式不同，必须分列。
本词条也不收录无法核验的效果数字、排名保证或攻击性竞品描述。那不属于百科。
实例
帮助中心允许 GPTBot，营销活动页禁止。联网答案更可能引用帮助中心的过期活动价，除非活动页下线并在帮助中心更正日期。
局限
robots.txt 是自愿协议。文档化的 GPTBot 遵守情况，不能外推到所有未标明的抓取。付费墙、登录墙后的内容本来就不在公开 GEO 范围。
与相关概念
| 概念 | 区别 |
|---|---|
| Googlebot | 服务谷歌搜索索引；GPTBot 服务 OpenAI 文档所描述的用途。 |
| PerplexityBot | Perplexity 公布的爬虫名称，规则要单独写。 |
| AI 爬虫（总称） | 总称包含多家；GPTBot 只是其中之一。 |
做法
- 阅读 OpenAI 当期爬虫文档，核对 User-agent 字符串。
- 在 robots.txt 中单独为 GPTBot 写明公开页与敏感页。
- 用日志确认请求是否到达关键 URL。