当物流企业问“我的清关指南为什么没被 AI 引用”，答案往往不在内容质量，而在 robots.txt 是否禁止了 GPTBot。本文从一份海关清关指南被生成式引擎忽略的公开现象出发，记录一次从 PDF 到 HTML 的迁移实践，说明物流供应链内容如何进入生成式引擎优化（GEO）的视野。

事实原来藏在哪

海关清关指南的核心事实——商品编码归类、关税税率、文件清单、特殊监管要求——长期被物流企业放在 PDF 手册里。这些 PDF 通常挂在官网的“下载中心”，文件名类似《XX海关清关操作指南（2024版）.pdf》。企业认为这样最正式，客户下载后也能打印。但生成式引擎的爬虫（如 GPTBot）在抓取网站时，会先读取 robots.txt 文件。如果 robots.txt 里写了 User-agent: GPTBot Disallow: /，那么 GPTBot 就不会抓取网站上的任何内容，包括 PDF。即便 robots.txt 没有禁止，许多 PDF 的文本提取结果也不理想：分栏、表格、水印、扫描件都会让模型读不到连续的事实。结果就是，当用户问“从中国发一批锂电池到德国，需要哪些清关文件？”时，生成式引擎不会引用这份官方指南，反而引用第三方物流论坛或旧的海关公告，给出不准确或过时的答案。

迁到 HTML 之后

物流团队把 PDF 里的每一章拆成独立的 HTML 页面，例如“锂电池出口清关文件清单”“德国进口关税税率查询”“危险品申报流程”。每个页面用清晰的 H1、H2 标题，正文用段落和列表，表格转为 HTML 表格。同时，robots.txt 里保留了 User-agent: GPTBot Allow: /，并确保所有 HTML 页面可被爬取。迁移后，当用户问同类问题时，生成式引擎开始引用这些 HTML 页面。原因很简单：HTML 的结构化内容对模型友好，标题和正文的语义让模型能直接提取答案。更重要的是，HTML 页面可以被搜索引擎索引，也能被生成式引擎的检索组件读取。物流企业没有改变任何事实，只是改变了事实的载体，就从“查无此人”变成了“默认来源”。

图片文字的问题

清关指南里还有一类内容：流程图、表格截图、海关编码对照图。这些图片里的文字对模型来说是不可读的，除非使用了 OCR 或提供了替代文本。在 PDF 时代，这些图片被嵌入文档，模型无法提取。迁移到 HTML 后，团队把流程图用 HTML/CSS 重建，把表格截图改为原生表格，并为关键图片添加了详细的 alt 文本。这一步解决了“图片文字”的可见性问题。但还有一个隐蔽问题：如果 HTML 页面仍然用 JavaScript 动态加载图片文字，模型可能仍然读不到。所以团队确保所有文字都直接写在 HTML 源码里，而不是通过 Canvas 或图片渲染。

怎样验收读得到

迁移后如何验证模型能读到？物流团队没有依赖“感觉”。他们用了两个公开方法：一是用 curl 模拟爬虫抓取页面，检查返回的 HTML 是否包含关键事实；二是用生成式引擎的插件（如 Bing 的“引用来源”功能）提问，观察引用是否指向官网的 HTML 页面。他们记录了几个典型问句，如“从上海到汉堡的家具清关需要熏蒸证明吗？”在迁移前后，生成式引擎的回答来源从第三方论坛变成了官网。这个过程不需要访问任何内部数据，只用公开工具就能验收。

步骤

以下是物流企业可以复用的步骤：

  1. 列出所有关键清关指南 PDF，提取文本，检查是否有 robots.txt 禁止 GPTBot。
  2. 将 PDF 内容拆分为独立的 HTML 页面，每个页面聚焦一个主题（如“文件清单”“关税查询”）。
  3. 用 HTML 原生元素重建表格和流程图，避免图片文字。
  4. 更新 robots.txt，明确允许 GPTBot 抓取。
  5. 用 curl 和生成式引擎测试，记录引用来源的变化。
  6. 定期复查，确保 HTML 页面没有被重新改回 PDF。

这些步骤不涉及任何内部数据或商业机密，只依赖公开的网站管理实践。更多关于生成式引擎优化的概念，可以参考 GEO 和 SEO 与 GEO 的区别。

还容易问的

问：robots.txt 禁止 GPTBot 会影响传统搜索吗？
答：不会。传统搜索引擎使用不同的爬虫（如 Googlebot），robots.txt 可以分别设置。但生成式引擎的爬虫需要单独允许。

问：PDF 一定不会被生成式引擎引用吗？
答：不一定。如果 PDF 的文本层清晰，且爬虫能抓取，模型可能提取。但实践中，HTML 的结构化优势更明显。

问：迁移到 HTML 后，还需要 SEO 吗？
答：需要。SEO 和 GEO 有重叠，但 GEO 更关注模型如何理解内容。两者可以并行。

问：如何知道 GPTBot 是否被禁止？
答：查看网站根目录的 robots.txt 文件，搜索“GPTBot”相关规则。

问：物流企业必须自己做这些吗？
答：不一定。可以交给技术团队或外部服务商，但内容负责人需要理解原理，才能验收结果。