封了 GPTBot 就安全了，想多了！27 个网站白送内容给 AI？robots.txt 没写也等于默认同意

大白话很多人以为 robots.txt 里写上「禁止 GPTBot」就等于不让 AI 用自己网站的内容，其实训练爬虫和搜索爬虫是两套不同的 token：封 GPTBot 只是不让 OpenAI 拿去训练，但 ChatGPT 搜索用的是 OAI-SearchBot，照样能引用你。谷歌那边更绕，Google-Extended 只控制内容能不能用于 Gemini 训练，不影响 Google 搜索排名，也不影响 AI Overviews。作者抓了 34 个尼泊尔企业站，只有 7 个写了 AI 爬虫规则，还有一家牙科学院同时封了 GPTBot 和 Google-Extended，以为能躲开「AI 回答」，结果两件事都没做到。

对你意味着只要你有个人站、博客或公司官网，这篇文章直接决定你的内容会不会被拿去训练、会不会出现在 AI 搜索答案里；默认不写不等于中立，等于把选择权交给爬虫厂商。