OpenAI、谷歌、微软、Anthropic 支持新标准，允许出版商统一退出 AI 抓取

OmniTools 10月31日消息，The Verge 10月31日消息，OpenAI、谷歌、微软和 Anthropic 表示将采用一项新标准，让出版商可以借助该标准选择不让 AI 抓取自己的内容。通过这一控制项，出版商可以一次性向多家 AI 公司表明自己的 AI 训练偏好，而不再需要逐家单独设置。

该共享“policy token”信号由 Anthropic 标准技术负责人 Kevin Kelley 在国际互联网工程任务组（IETF）框架下提出，将写入网站长期用于声明哪些爬虫可以抓取站点的 robots.txt 文件。目前，网站必须分别向每家 AI 公司表明其 AI 训练偏好。这一新安排出台之际，出版商正面临大量 AI 爬虫抓取站点、并将内容用于训练 AI 模型的持续压力。已有公司和组织尝试应对未经授权的抓取，例如 RSL 标准允许向访问站点的爬虫收费，Cloudflare 则默认屏蔽 AI 爬虫。

上述四家公司表示，一旦检测到该共享 token，就会限制其 AI 爬虫访问相关站点。微软将提供更细粒度的控制选项，让出版商可以选择退出 AI 训练或 AI grounding；AI grounding 是指让模型指向经过验证的信息来源，以减少幻觉。微软同时说明，无论网站作何选择，仍会出现在必应搜索结果中。Anthropic 已采用该信号，谷歌和微软计划于明年支持，OpenAI 称将在“未来几个月”内实施。