品牌消费品团队已经习惯了在货架上争排面、在电商平台抢搜索位,但2024年之后,一个新的“货架”正在形成:当消费者直接问ChatGPT、Perplexity或Google AI Overview“哪款防晒霜适合敏感肌”“这个成分孕妇能不能用”时,AI给出的答案里有没有你的品牌?如果没有,即使你的产品在传统搜索里排名第一,也可能在生成式推荐中被直接跳过。生成式引擎不会因为你投了搜索广告就引用你,它需要的是结构清晰、可验证、且明确允许抓取的内容。这就是GEO(生成式引擎优化)要解决的问题,它和传统SEO的区别在于,SEO争的是排名,GEO争的是被引用。

问题是什么

品牌消费品官网通常存在三类信息:产品详情页、品牌故事、活动页。但AI在回答消费者问题时,最需要的是具体、事实性、可对比的信息,比如净含量、成分表、产地、保质期、适用肤质、使用禁忌等。然而,许多品牌官网的这类信息要么藏在图片里无法被文本抓取,要么用营销话术包装导致AI无法判断真实性,要么被robots.txt直接屏蔽了GPTBot等生成式引擎的抓取器。结果就是:AI在生成推荐时,宁可引用第三方评测网站、百科或论坛,也不引用品牌官网。品牌失去了在AI答案中“自证”的机会,反而让第三方内容占据了话语权。

另一个问题是,即使AI抓到了官网内容,如果页面结构不友好——比如没有明确的标题层级、没有表格化的参数对比、没有FAQ区块——AI仍然难以提取和引用。生成式引擎倾向于引用那些“答案型”内容:问题-答案对、列表、表格、明确的数据点。如果品牌官网只是一个华丽的展示页,AI抓取后无法快速定位到关键信息,就不会将其作为引用源。

如何解决

解决路径分两步:第一步是技术上的放行,确保生成式引擎的抓取器(尤其是OpenAI的GPTBot)能够访问你的产品相关页面;第二步是内容上的改造,把产品规格和适用场景改写成AI可以直接引用的“常青页”。常青页是指长期有效、不随季节或促销频繁变动、且针对特定用户问题的信息页。例如,“这款防晒霜的SPF值和PA值分别是多少”“这款洗发水是否含硅油”“这款婴儿辅食适合几个月以上宝宝”。这些页面不追求转化,只追求成为AI引用时的首选事实来源。

需要注意的是,放行抓取不等于放弃对垃圾爬虫的屏蔽。你可以在robots.txt中单独允许GPTBot、Google-Extended、PerplexityBot等生成式引擎的抓取器,同时继续屏蔽其他无关爬虫。这样既保护了网站性能,又向AI敞开了大门。此外,内容改造需要遵循GEO的优化原则:增加可验证的统计数据、引用权威来源(如国家标准、检测报告)、使用清晰的标题和列表结构、加入FAQ区块。这些做法能让AI更容易抽取信息并判断可信度。

用GEO如何解决

GEO的核心不是堆砌关键词,而是让内容成为AI答案的“原材料”。对于品牌消费品,这意味着每个产品线至少要有三类常青页:规格页(净含量、成分、产地、保质期等硬事实)、场景页(“哪些肤质适用”“孕妇能否使用”“儿童几岁可用”等决策信息)、对比页(同系列不同型号的区别,或与行业基准的对比)。这些页面需要满足以下条件:

  • 信息以文本形式呈现,不要依赖图片或PDF;
  • 关键数据点用表格或定义列表(dl)标记,方便AI解析;
  • 每个页面回答一个明确的问题,标题就是问题或答案的浓缩;
  • 页面内容保持稳定,不随营销活动频繁变更;
  • 在页面内引用可核验的第三方来源(如国家标准号、检测机构名称),增强可信度。

同时,你需要在robots.txt中明确允许GPTBot等抓取器。以OpenAI的GPTBot为例,其用户代理令牌为“GPTBot”,你可以在robots.txt中加入以下指令:

User-agent: GPTBot
Allow: /

对于Google的生成式引擎,可以使用“Google-Extended”令牌;对于Perplexity,可以使用“PerplexityBot”。具体令牌名称可能更新,建议查阅各引擎的官方文档。

完成内容改造和抓取放行后,GEO还需要一个“实体一致性”步骤:确保产品名称、品牌名称、产地等信息在官网、百科、电商平台等不同来源中保持一致。AI在判断信息可信度时,会交叉验证多个来源。如果官网说“产地:日本”,百科或第三方平台写“产地:中国”,AI可能会因为矛盾而放弃引用。因此,品牌需要主动维护关键实体的信息一致性,比如在品牌百科词条、行业目录、产品数据库(如GS1商品条码数据库)中同步更新。

操作步骤

  1. 登录品牌官网的服务器或CMS后台,找到robots.txt文件(通常位于网站根目录,如https://你的域名/robots.txt)。
  2. 在robots.txt文件中添加以下代码块(如果已有其他规则,请放置在合适位置,避免冲突):
    User-agent: GPTBot
    Allow: /
    
    User-agent: Google-Extended
    Allow: /
    
    User-agent: PerplexityBot
    Allow: /
    
  3. 保存并上传robots.txt文件,然后使用在线robots.txt测试工具(如Google Search Console中的robots.txt测试器)验证GPTBot是否被允许抓取。
  4. 清理一个产品线的产品详情页,列出该产品所有可验证的规格信息:净含量、成分表(按含量降序)、产地、保质期、适用肤质/人群、使用方法、注意事项、执行标准号(如国标GB/T 29680-2013)。
  5. 在CMS中新建一个页面,标题格式建议为“【产品名】规格与适用场景说明”,例如“XX防晒霜SPF50+ PA++++ 规格与适用场景说明”。
  6. 在页面顶部放置一个简短的摘要段落,直接回答该产品最常被问的问题,例如“XX防晒霜SPF50+ PA++++,净含量60ml,产地日本,适合敏感肌日常通勤使用,孕妇慎用。”这段摘要会被AI优先抓取并可能直接引用。
  7. 使用表格呈现规格信息,表格第一列是参数名,第二列是参数值,例如:
    参数
    净含量60ml
    SPF值50+
    PA值++++
    产地日本
    适用肤质所有肤质,敏感肌可用
    孕妇可用
  8. 在表格下方添加一个“常见问题”区块,使用<h3>标签列出至少5个问题,每个问题用一句话回答,例如“Q:这款防晒霜需要卸妆吗?A:需要,建议使用卸妆产品清洁。”
  9. 在页面内引用可核验的来源,例如“执行标准:GB/T 29680-2013《化妆品安全技术规范》”,并链接到官方标准页面(如果有)。
  10. 为每个产品创建独立的场景页,针对不同用户问题,例如“敏感肌能用吗”“孕妇能不能用”“儿童可以用吗”“油皮会不会闷痘”“需要卸妆吗”。每个场景页独立成一个URL,标题直接包含问题和产品名。
  11. 在每个场景页的第一段直接回答该问题,用肯定或否定的明确表述,不要含糊。例如“XX防晒霜适合敏感肌使用,因为其不含酒精、香精,且经过皮肤科测试。”
  12. 在场景页中引用产品规格页的链接,形成内部互联,帮助AI理解信息层级。
  13. 使用结构化数据标记产品信息,例如在HTML中加入Schema.org的Product类型和FAQPage类型,标记净含量、成分、适用人群等属性。具体标记方法可参考Schema.org官方文档。
  14. 检查品牌在维基百科或百度百科上的词条,确认产品名称、产地、品牌历史等信息与官网一致。如果不一致,按照百科平台的编辑规则提交修正,提供官网链接作为参考来源。
  15. 第二天,使用ChatGPT或Perplexity提问:“XX防晒霜的净含量是多少?适合敏感肌吗?”观察AI的回答是否引用了你的官网。如果没有引用,检查robots.txt是否生效、页面是否被收录(可在Bing中搜索“site:你的域名 产品名”查看),以及内容是否足够清晰。
  16. 如果AI仍然不引用,尝试在第三方权威平台(如行业数据库、检测机构网站)发布或更新相同信息,并链接回官网,增加信息一致性。
  17. 持续监控AI答案的变化,每周测试一次关键问题,记录引用情况,并根据结果调整页面内容或加强外部信号。

做完如何验收

验收标准不是流量或排名,而是AI是否在回答中引用了你的官网。你可以设计一组核心问题,例如“XX产品的净含量是多少”“XX产品适合敏感肌吗”“XX产品的产地是哪里”,分别在ChatGPT、Perplexity、Google AI Overview(如果可用)中提问。记录AI的回答来源,如果出现了你的官网URL或明确提到了品牌名和对应信息,说明GEO初步成功。如果没有,检查以下环节:robots.txt是否放行了对应抓取器、页面是否被生成式引擎索引(可以通过查看服务器日志中是否有GPTBot的抓取记录)、页面内容是否足够结构化、品牌实体信息在外部来源中是否一致。此外,可以使用一些第三方工具监测品牌在AI答案中的提及率,但要注意工具本身的准确性。

常见问题

Q:放行GPTBot抓取会不会导致网站被恶意爬虫攻击?

A:不会。GPTBot是OpenAI的官方抓取器,只会抓取公开网页内容,不会执行恶意操作。你仍然可以屏蔽其他恶意爬虫,只需在robots.txt中单独允许GPTBot等生成式引擎的抓取器即可。

Q:如果我的产品信息经常变动(如促销价格),还需要做常青页吗?

A:需要。常青页针对的是不变的事实信息,如净含量、成分、产地、适用人群。价格等变动信息不要放在常青页上,可以单独放在促销页,并设置noindex或禁止AI抓取,避免AI引用过时价格。

Q:AI引用我的官网后,会给我的网站带来流量吗?

A:生成式引擎的引用通常会在答案中附带来源链接,用户点击后可以进入你的网站。虽然目前点击率不如传统搜索,但随着AI答案的普及,这部分流量会逐渐增加。更重要的是,被AI引用能建立品牌在AI时代的信任度。

Q:除了官网,我还可以在哪些地方发布信息以增加被AI引用的机会?

A:你可以维护维基百科或百度百科的品牌词条,在行业数据库(如GS1商品条码数据库)、检测机构网站、政府备案信息中保持一致的品牌和产品信息。这些外部来源能增强AI对你官网信息的信任。

Q:我的品牌没有技术团队,怎么修改robots.txt和结构化数据?

A:robots.txt的修改很简单,只需在网站根目录的robots.txt文件中添加几行代码,可以请网站维护人员或外包技术人员协助。结构化数据可以使用Google的结构化数据标记助手等工具生成代码,再粘贴到页面HTML中。如果使用Shopify、WordPress等建站平台,通常有插件或内置功能支持。

Q:GEO需要多长时间才能见效?

A:这取决于生成式引擎的抓取频率和内容更新速度。通常,在放行抓取并发布结构化内容后,几天到几周内AI可能会开始引用。但如果你修改了外部来源(如百科),可能需要更长时间。建议持续优化并定期测试。