你的文章被 AI 引用,可能先卡在 robots.txt 上!25 家封杀 ClaudeBot、17 家放行 GPTBot:30 家大站对 AI
有开发者在 11 月 1 日逐个读了 30 家知名网站的 robots.txt,发现大站普遍封训练爬虫,而且对 Anthropic 比对 OpenAI 更狠。
完整的大白话解读、专业细节和短视频口播稿,打开巨象雷达登录后查看。
作者自述的实测数据,样本仅 30 家网站,结论为作者个人观察
原文:Which websites block GPTBot and ClaudeBot? 30 sites checked (November 2026)
打开巨象雷达,看今天全部 AI 动态