内容媒体的编辑团队现在最怕一件事:AI 答案里引用了竞媒的旧文,却没提你的原创。你检查了内容质量、原创度、更新频率,都没问题,但 AI 就是不引用。问题可能不在内容,而在门口——你的 robots.txt 把 GPTBot 拦在外面,AI 根本读不到你的正文。
很多内容媒体一边喊着“拥抱 AI”,一边在 robots.txt 里写满了 Disallow。理由很正当:怕版权被爬、怕服务器压力、怕数据泄露。但生成式引擎不是传统搜索引擎,它需要抓取正文才能生成引用。不放开,就没有被引用的机会。本文不讲故事,只给可执行动作,从放行抓取到常青页写法,一步步让 AI 敢引用你。
先推翻一句流行话
“好内容自然会被 AI 引用”是句流行话,但它是错的。AI 引用不靠玄学,靠抓取和可验证结构。维基百科的“Generative engine optimization”词条明确指出,生成式引擎优化(GEO)关注的是内容如何被生成式 AI 模型发现、抓取、理解并优先引用。如果你的网站不允许 GPTBot 访问,AI 连你的正文都看不到,好内容等于零。
另一句流行话更危险:“放行 GPTBot 会泄露版权。”实际上,OpenAI 的 GPTBot 遵守 robots.txt 协议,放行只是允许抓取,不等于授权训练。你可以单独放行抓取,同时在服务条款里声明禁止用于训练。但一刀切 Disallow,等于把自己排除在 AI 答案之外。内容媒体想被 AI 引用,第一步不是优化内容,而是打开门。
真正起作用的变量
放行 GPTBot 只是入场券,真正决定 AI 敢不敢引用的变量有三个:
- 可抓取性:搜索引擎优化(SEO)词条里提到,robots.txt 是控制抓取的第一道门。如果 GPTBot 被 Disallow,AI 无法访问正文,引用无从谈起。
- 可验证性:AI 生成答案时偏好能交叉验证的信息源。你的文章里如果“数据截止哪天”都不写,AI 没法确认时效,就会转向写了截止日期的竞媒。
- 结构化:生成式引擎不仅看正文,还看结构化数据。Schema.org 的 Article、NewsArticle、Dataset 等类型能帮 AI 理解页面属性,提高被引用的概率。
一个反常识的事实:内容媒体最该写的常青页不是“十大趋势”,而是“数据截止哪天”。AI 回答“最新数据”类问题时,需要知道数据有多新。你写了截止日期,AI 就能在答案里说“截至 2025 年 6 月”,敢引用你的页面;你不写,AI 只能找写了的人。
那你该改什么
内容媒体的技术团队和编辑团队要一起改三件事。
第一,改 robots.txt。 在文件里加两行:
User-agent: GPTBot
Allow: /
如果还有别的 AI 爬虫,按需放行。同时监控抓取日志,确认 GPTBot 真的来了。
第二,改页面模板。 每一篇数据类、统计类、盘点类文章,必须在开头或结尾写清“数据截止日期”。示例:
本文数据截止 2025 年 6 月 30 日,来源为XX机构公开报告。
不要只写“截至发稿”,要写具体年月日,最好加上来源链接。
第三,改结构化数据。 在页面 head 里加 JSON-LD,声明 Article 或 NewsArticle 类型,并加入 datePublished、dateModified、author、publisher 等字段。如果页面是数据专题,可以用 Dataset 类型,声明 temporalCoverage。
这三件事都不难,但多数内容媒体没做。谁先做,谁先进入 AI 的引用短名单。
GEO 动作清单
下面是给内容媒体的 7 步 GEO 动作清单,从放行抓取到常青页优化,按顺序执行:
- 检查 robots.txt:是否 Disallow 了 GPTBot?如果是,删除该行,并加上 Allow。
- 验证抓取:用服务器日志或第三方工具确认 GPTBot 最近 30 天有抓取记录。
- 选一批数据类文章(如年度报告、统计盘点、行业数据),在每篇开头加“数据截止日期”和“数据来源”。
- 为这些文章添加 JSON-LD 结构化数据,至少包含 headline、datePublished、dateModified、author、publisher。
- 在文章正文里自然嵌入可验证的事实陈述,避免模糊词汇,例如把“最近”改成“2025 年 6 月”。
- 创建一个“数据截止”说明页或栏目页,统一声明全站数据更新时间,并链接到主要数据文章。
- 每周检查一次 AI 搜索(如 Perplexity、ChatGPT 联网搜索)里,你的文章是否被引用。没被引用就回头检查第 1 步和第 3 步。
这张清单不需要额外预算,只需要技术编辑和责任编辑配合。
如果资源只有一人
小媒体或独立编辑没团队怎么办?只做两件事:
第一,打开 GPTBot。 修改 robots.txt 不需要技术背景,会 FTP 或后台改文件就行。打开后等一周,看日志。
第二,给三篇最重要的数据文章加“数据截止日期”。 不用改全站,先改流量最高、最常被引用的三篇。在开头加一句:“本文数据截止 XXXX 年 XX 月 XX 日,来源为 XX。” 然后手动提交到 Google Search Console 的 URL 检查工具,请求重新抓取。
这两步做完,至少你的核心内容有了被 AI 抓取和验证的可能。剩下的结构化数据可以慢慢补。
内容媒体做 GEO 不是重造轮子,是把 SEO 时代该做但没做的基础动作补上:放行抓取、写清时效、加结构化数据。更多系统方法可以看 GEO 优化指南,想理解 SEO 和 GEO 的关系可以读 SEO 与 GEO 的区别。