海外消费者在ChatGPT、Perplexity里问“适合敏感肌的平价面霜”“德国转运哪家快”时，AI给出的推荐往往来自少数几个独立站。很多跨境卖家发现自己的产品页在Google里排得不错，却很少被生成式引擎引用。问题通常不在内容质量，而在抓取和技术层：GPTBot根本没读到你的正文，或者读到了但结构化数据与可见文字对不上，AI不敢引用。

下面从技术执行角度，给能改官网的人一套可直接落地的清单。每一步都对应一个真实翻车点。

先确认正文在 HTML 里

很多独立站为了美观，把产品描述做成图片、Canvas渲染，或者依赖JavaScript动态加载。搜索爬虫和GPTBot抓取时，可能只拿到一个空壳。打开浏览器的“查看网页源代码”，搜索产品标题或描述关键词。如果源代码里找不到，说明正文不在HTML里。

常见原因有三个：

  • 前端框架（如React、Vue）完全客户端渲染，首屏HTML只有空div。
  • 产品描述用背景图或雪碧图展示，文字没有以文本节点存在。
  • 内容通过Ajax异步加载，爬虫在默认等待时间内没拿到数据。

解决办法是服务端渲染（SSR）或预渲染。对于商品详情页，至少要让标题、价格、库存、核心卖点以纯文本出现在初始HTML中。可以用curl命令模拟抓取：curl -A "GPTBot" https://你的域名/product/xxx，看返回的HTML是否包含关键信息。

放行与屏蔽

robots.txt是爬虫访问的第一个文件。如果误伤了GPTBot，AI就没有机会读你的页面。OpenAI的抓取器叫GPTBot，Google的AI相关抓取器包括Google-Extended。检查你的robots.txt是否包含以下屏蔽规则：

User-agentDisallow影响
GPTBot/OpenAI系生成式引擎无法抓取
Google-Extended/Google Bard等AI产品无法使用你的内容训练或引用
*/product/所有爬虫包括传统搜索都无法抓取产品页

如果希望被AI引用，需要在robots.txt中放行GPTBot和Google-Extended。同时注意，屏蔽所有爬虫的规则（User-agent: * Disallow: /）会连带屏蔽GPTBot。建议单独为GPTBot设置规则：

User-agent: GPTBot
Allow: /

User-agent: Google-Extended
Allow: /

放行之后，用Google Search Console的“网址检查”或Bing网站管理员工具确认爬虫能正常抓取。注意，robots.txt是建议性协议，但主流合规引擎都会遵守。

结构化数据与可见文字一致

AI引用时，会参考页面中的结构化数据（Schema.org标记）。但结构化数据必须与用户可见的文字一致，否则会被判定为欺骗性标记，反而不被信任。例如，产品页面标记了"price": "19.99"，但页面上显示“$24.99”，这种不一致会让AI放弃引用。

对于跨境电商独立站，重点标记以下类型：

  • Product：名称、SKU、品牌、图片、描述、价格、货币、库存状态。
  • Offer：价格有效区间、适用地区。
  • AggregateRating：评分和评论数（必须基于真实评论）。
  • BreadcrumbList：面包屑路径，帮助AI理解站点结构。
  • FAQPage：如果产品页有常见问题区块，用FAQPage标记，AI更容易直接抽取答案。

实施时用JSON-LD格式插入到或中。验证工具可用Google Rich Results Test或Schema.org Validator。特别注意：价格、货币符号、库存状态必须与页面展示完全一致。比如页面显示“€39.90”，JSON-LD里不能写成“39.9”或“EUR 39.90”。

常见翻车

跨境卖家在技术抓取上经常踩这几个坑：

  1. robots.txt放行了，但CDN或WAF拦截GPTBot。有些安全插件会把GPTBot的UA当成恶意爬虫，返回403。需要检查防火墙日志，对GPTBot和Google-Extended放行。
  2. 产品页使用无限滚动或分页加载，爬虫只能抓到第一屏。建议为每个产品提供唯一URL，并支持直接访问，不依赖点击加载更多。
  3. 结构化数据标记了，但页面没有对应可见文字。例如只在JSON-LD里写了“Free Shipping”，页面上找不到这个承诺，AI会认为标记不真实。
  4. 多语言站点使用自动跳转。比如德国用户访问.com自动跳到.de，但GPTBot从美国IP抓取时可能被重定向到错误语言版本。建议根据Accept-Language返回对应语言，而不是强制跳转。
  5. 价格和库存动态变化，但结构化数据缓存过期。AI抓到旧价格后会在答案里展示错误信息，用户点进网站发现不一致，信任度下降。

发布检查单

每次发布或更新产品页，按下面清单过一遍：

  1. 查看源代码，确认产品标题、描述、价格、库存以纯文本存在。
  2. robots.txt中GPTBot和Google-Extended未被Disallow。
  3. 用curl模拟GPTBot抓取，返回200且包含关键信息。
  4. JSON-LD通过验证，且所有字段与页面可见文字一致。
  5. 产品页有唯一URL，无JS依赖加载关键内容。
  6. 价格、货币、库存状态在标记和页面中完全匹配。
  7. 如果有FAQ区块，已使用FAQPage标记。

做完这些，可以到Perplexity或ChatGPT里用自然语言问一个与你产品相关的问题，观察是否出现你的品牌或产品名。如果没有出现，不要急着改文案，先检查上述技术点。

更多关于GEO和传统SEO的区别，可以看SEO与GEO对比；如果需要系统了解生成式引擎优化，可以访问GEO专题。

还容易问的

这里汇总跨境卖家在放行抓取时的高频问题。