一个跨境独立站的物流时效页,因为在 robots.txt 里写了 User-agent: GPTBot\nDisallow: /,从此消失在生成式引擎的答案里。团队没有改文案,也没有投广告,而是先去查公开的抓取记录,再调整页面上的可核验证据。这就是生成式引擎优化(GEO)里最基础的一步:先确认模型能不能看见你。
先公布能核对的变化
变化发生在公开日志和 AI 回答的引用栏。改版前,在 Bing Webmaster Tools 的“抓取信息”里,GPTBot 最近 90 天抓取该物流时效页的次数是 0;改版后,同一页面在 15 天内出现 3 次抓取记录。改版前,用“从深圳发美国,几天能到”询问 Perplexity 和 Bing Copilot,回答里没有该站点;改版后,Perplexity 在两条回答的“来源”里列出了该时效页的 URL,Bing Copilot 也把它作为“相关页面”之一。这些记录都能在对应工具的公开后台看到,不需要内部数据。
变化之前的页面
这个时效页不是缺内容,恰恰相反。它写着“美国专线 7-12 个工作日”“旺季延误说明”“偏远地区附加费”等段落,还有一张从深圳到洛杉矶、纽约、芝加哥的时效表。页面在传统搜索里表现不错,搜索“跨境电商 美国专线 时效”能排进前五。但团队在检查日志时发现,GPTBot 的抓取量一直是零。原因就写在 robots.txt 里:为了挡住训练爬虫,技术同事把 GPTBot 和 CCBot 一并禁了。生成式引擎看不到页面,自然谈不上引用。
他们改了哪类证据
团队做的第一件事不是放开全部抓取,而是把时效页从 Disallow: / 改为 Allow: /shipping-time,并且单独给 GPTBot 加了一条允许规则。第二件事是补充页面证据:在时效表下方增加“更新日期”和“数据来源:承运商官网公开报价”,并把“旺季延误”标注为“2024 年 11-12 月历史数据”。这些改动都是为了让模型在引用时能判断信息的时效与出处,而不是给出一句无法核对的空话。
变化之后AI侧能看见什么
抓取恢复后,团队用同一组问句连续观察两周。Perplexity 在回答“从中国发美国的专线时效”时,开始引用该页面的时效表,并标注“更新于 2025 年 1 月”。Bing Copilot 在回答“旺季发美国会不会延误”时,把该页面的“旺季延误说明”列为参考资料。更值得注意的是,当问句变成“XX 公司美国专线时效”时,AI 回答里出现了品牌名和页面 URL。这说明生成式引擎不仅看见了页面,还把页面当成了该品牌时效信息的首选来源。
你怎么复用这个量法
如果你也在跨境电商行业,可以先做三件事。第一,去 Bing Webmaster Tools 或 Cloudflare 的 Crawler Analytics 里查 GPTBot 的抓取记录;如果没有工具权限,可以在服务器日志里搜“GPTBot”,看它最近 90 天是否来过。第二,把时效页从 robots.txt 的禁止名单里拿出来,只允许 GPTBot 抓取这个页面,其他页面仍然可以保持禁止。第三,在页面上加“更新日期”和“数据来源”,然后每隔几天用同一组口语问句去 Perplexity、Bing Copilot 里问一遍,看引用栏里是否出现你的 URL。这个方法不依赖任何内部数据,所有变化都能在公开后台核对。关于 GEO 与 SEO 的差异,可以参考 SEO 与 GEO 的区别。更系统的生成式引擎优化方法,可以看 GEO 指南。
还容易问的
Q:放开 GPTBot 会不会被训练模型抓走内容?
抓取不等于训练。GPTBot 抓取页面是为了建立索引和回答问题时的参考,但训练数据的使用由 OpenAI 另行声明。如果担心训练,可以用 GPTBot 配合 Allow 只开放时效页,其他页面保持禁止。
Q:传统搜索排名和生成式引擎引用是一回事吗?
不是。传统搜索看的是关键词、外链、页面权重;生成式引擎引用看的是页面能否被模型读取、内容是否直接回答用户问题、是否包含可核验的时效和出处。一个页面可以在传统搜索排名很好,但完全不被 AI 引用。
Q:我查不到 GPTBot 抓取记录,是不是就没戏了?
不一定。GPTBot 不一定每天都来,而且不同引擎的爬虫不同。Bing 用的是 Bingbot,Google 用的是 Google-Extended。建议同时在 Bing Webmaster Tools 和 Google Search Console 里查看爬虫记录,如果都没有,可以先检查 robots.txt 是否误伤。
Q:加“更新日期”真的有用吗?
有用。生成式引擎在引用时倾向于选择有时间戳、能判断时效的内容。如果页面写“美国专线 7-12 天”却没有日期,模型可能认为信息过时,转而引用其他有日期的页面。
Q:我只有一两个产品,值得做 GEO 吗?
值得。对于跨境卖家,AI 推荐正在成为新的流量入口。哪怕只有一个时效页,只要它能被生成式引擎引用,就可能带来精准的 B 端询盘。先从这一个页面开始,比改全站现实得多。