🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to2026-11-02 00:02AI 生成

你的文章被 AI 引用,可能先卡在 robots.txt 上!25 家封杀 ClaudeBot、17 家放行 GPTBot:30 家大站对 AI

有开发者在 11 月 1 日逐个读了 30 家知名网站的 robots.txt,发现大站普遍封训练爬虫,而且对 Anthropic 比对 OpenAI 更狠。

完整的大白话解读、专业细节和短视频口播稿,打开巨象雷达登录后查看。

作者自述的实测数据,样本仅 30 家网站,结论为作者个人观察

原文:Which websites block GPTBot and ClaudeBot? 30 sites checked (November 2026)

打开巨象雷达,看今天全部 AI 动态