你的内容 AI 搜不到，可能卡在 CDN 这一层！robots.txt 放行也没用？5 分钟查出 AI 爬虫到底能不能读你的站

大白话现在网站上线很容易，但被 AI 助手「看见」很难：ChatGPT、Claude、Perplexity 只能引用它们成功抓到的页面。这篇 Dev.to 文章给了两步自查法：第一步用 curl 读 robots.txt，看 GPTBot、ClaudeBot、PerplexityBot 这些爬虫有没有被单独放行；第二步更关键，用脚本伪装成各个爬虫的 User-Agent 去请求首页，看返回的状态码和浏览器是否一致。如果浏览器 200、爬虫 403 或 429，说明是主机、CDN 或防火墙在拦，光改 robots.txt 没用。文章还提醒：负责训练和收录的爬虫（GPTBot 等）和用户提问时临时抓页的爬虫（ChatGPT-User 等）是两拨，各有各的规则组。

对你意味着做独立站、博客、内容站的人尤其该看：AI 搜索流量正在变多，抓不到等于白写。提醒一句，User-Agent 字符串厂商会改，测之前最好核对官方文档。