🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to2026-11-02 06:15AI 生成

Meta 只点赞不执行,这协议能管住谁?四家 AI 巨头罕见联手:一条 robots.txt 就能让全网爬虫集体收手:

OpenAI、谷歌、微软、Anthropic 同意认读同一个 robots.txt「政策令牌」,但各家上线时间错开,Meta 只口头点赞不承诺执行。

大白话以前网站不想被 AI 抓数据,得挨个点名每家公司的爬虫,还得随时更新名单。现在 Anthropic 在 IETF 提了个「政策令牌」,只要在 robots.txt 里写一行,四家巨头都认。Anthropic 已经上线,OpenAI 说几个月内跟上,谷歌和微软要等到明年。微软还多给一个开关:可以单独拒绝「AI 训练」和「AI 引用」,而且拒绝后网站照样留在必应搜索结果里。Meta 的公关负责人只表示支持,没承诺照做。
对你意味着做网站、写博客、靠内容吃饭的人最该看:这决定了你的文章会不会被拿去喂模型。但它只管未来、不管过去,也不涉及付钱。

原文:AI Daily Digest November 2, 2026: Four AI Giants Back One robots.txt Token, ChatGPT and Codex Merge Quotas, Apple Puts Qwen Inside Siri

打开巨象雷达,看今天全部 AI 动态