🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
SiliconANGLE2026-10-31 10:00AI 生成

你的文章被 AI 白嫖训练,以后能一键拒绝了!一条 robots.txt 就能拉黑所有 AI?谷歌微软 OpenAI 联手给网站主发免爬开关

谷歌、微软、Anthropic、OpenAI 宣布支持新的网站抓取标准,网站主写一条 robots.txt 就能屏蔽所有生成式 AI 训练爬虫,不用再逐家拉黑。

大白话以前网站主不想让 AI 公司拿自己的内容训练模型,得在 robots.txt 里给每家 AI 公司、每个爬虫单独写一条,麻烦又容易漏。现在这四家说,以后统一写一条就能全部挡住收集训练数据的爬虫。微软还额外搞了个「AI Grounding」开关,专门拦那种为了回答用户问题来抓页面的请求。谷歌、微软、OpenAI 说未来几个月到明年陆续上线,Meta 表示支持但还没承诺落地。
对你意味着做网站、写博客、运营内容站的人最该关心:以后能不能一键拒绝被 AI 白嫖内容,就看这套标准落不落地。

原文:Google, Anthropic and others to support new AI crawling opt-out standard

打开巨象雷达,看今天全部 AI 动态