
要点
- The Verge(Emma Roth,2026-10-30)报道:OpenAI、Google、Microsoft、Anthropic 表示将采用 Anthropic 标准技术负责人 Kevin Kelley 在 IETF 提出的共享 policy token,写入网站 robots.txt。
- 四家称若遇到该共享令牌,将限制其 AI 爬虫访问;Anthropic 已采用,Google 与 Microsoft 计划明年支持,OpenAI 称将在「未来数月」落地。
- Microsoft 称将提供更细粒度控制,允许退出 AI 训练或 AI grounding,且偏好不影响 Bing 搜索收录;Meta 公关负责人 Andy Stone 表态支持共同信号,但文中未写明 Meta 是否会兑现。
新闻核心不是又一份「尊重版权」声明,而是把分散在各家的 AI 训练偏好,收成 robots.txt 里可跨爬虫读取的同一枚 token。
可证伪读法:若 Google、Microsoft 在 2027 年、OpenAI 在「数月」窗口内真把共享令牌接到生产爬虫且可被独立 robots 探针验证,则出版方「一次声明、多家执行」的治理缺口会实质收窄;若落地拖延、覆盖仅限部分产品线,或与 grounding/搜索产品的例外把信号掏空,则叙事应降级为标准意向书。
[1]硬事实(据 The Verge):共享「policy token」由 Kevin Kelley(Anthropic standards 技术负责人)作为 IETF 工作提出,挂在长期用于声明爬虫权限的 robots.txt。当前站点须分别向各 AI 公司表达训练偏好;新控制意在一次声明、多家适用。
背景并列:出版方持续面对 AI 爬虫;Really Simple Licensing(RSL)试图对爬虫收费,Cloudflare 默认拦截 AI 爬虫。Google 此前已有控制内容是否进入 AI 搜索功能或训练、且不影响普通搜索可见度的机制;Microsoft 强调 Bing 收录不受偏好影响。
[1]证据层级是一线科技媒体对四家公司表态与时间表的报道,并引用 Meta 公关 Andy Stone 关于「共同信号是重要一步」的评论;文中未附 IETF 草案编号、令牌语法或独立合规测试结果。
钢人论证:统一退出信号降低合规成本,也降低「公司 A 尊重、公司 B 未列入 robots」的套利空间,对中小出版方尤其有意义。钢人之外,报道未说明违约检测、申诉渠道,以及 grounding 与训练分流后,哪些产品路径仍可合法绕过「训练退出」。
[1]最强钢人:在诉讼与爬虫军备竞赛并行时,先把「可否训练」收成可机读、可跨厂商的最小公约数,比继续堆各家私有头字段更可执行。
钢人风险:时间表参差(Anthropic 已用、OpenAI 数月、Google/Microsoft 明年)本身就会制造窗口套利;「限制 AI 爬虫」与「搜索/回答仍可引用」之间的产品缝隙,可能让出版方误以为退出了全部 AI 使用。Meta 的口头支持若长期不绑定实现承诺,共同标准的覆盖面会被夸大。
[1]对出版方,这是把分散的 crawler 偏好写成一次配置的机会;对四家实验室,是回应「未经授权抓取」批评的治理姿态。对监管与标准读者,观察点是 IETF 进程是否产出可互操作的正式规范,以及落地后独立监测能否复现「遇 token 即停」。
[1]未来六到十二个月,应以可公开复现的 robots 探针为准:若主要爬虫在声明 token 后仍大规模抓取用于训练,则 2026-10-30 的「背书」应读作公关同步而非已生效的行业默认。若探针显示一致停爬,且 grounding/训练分流有清晰文档,则统一退出信号值得上修为内容治理基础设施。
【No.2】
[1]