10 月 30 日，OpenAI、Google、Microsoft 与 Anthropic 四家西方头部 AI 实验室宣布，将共同支持同一个 robots.txt 策略令牌 __usage_ai-training，让网站主可以用一条声明统一表达「禁止将本站内容用于 AI 训练」。
机制如何工作
- 该令牌由 Anthropic 撰写的一份带日期的 Internet-Draft 定义，复用现有 robots.txt 语法，不需要引入新的协议或文件格式。
- 站主在 robots.txt 中写一个
User-Agent: __usage_ai-training的规则组，并配合普通的Disallow路径规则，即可声明整站或部分路径不用于 AI 训练。 - 一个文件即可对支持该标准的所有爬虫生效，避免了此前各家厂商各自的 opt-out 信号互不兼容、站点需要逐一声明的问题。
各家时间表
- Anthropic：已经开始实施该信号。
- Google：计划在 2027 年初支持，并称将与其 AIPREF 机器可读训练偏好信号打通（据 seroundtable 报道）。
- Microsoft：据 windowsforum 报道，Bing 相关抓取与 grounding 控制也计划在 2027 年 3 月前落实。
- OpenAI：表示将在「未来几个月内」跟进。
需要注意的边界
- 这目前是一份 Internet-Draft，还不是完成的 IETF 标准；遵守依赖各厂商的自愿承诺，而非法律义务。
- 该信号只覆盖「AI 训练」这一用途，搜索索引、检索增强等用途是否受限取决于各家的具体实现。
- The Verge 报道指出，Meta 未加入这一承诺。
对中文站长和内容平台而言，这意味着未来可以用一行 robots.txt 规则统一向主流 AI 厂商表达训练授权偏好，无需再针对每家爬虫分别配置。