流量莫名掉了，先去看这四行字！别再瞎写 disallow 了！robots.txt 四行字可能正在偷偷掐死你的流量

大白话robots.txt 就是放在网站根目录的一个纯文本文件，告诉爬虫哪些路径可以抓、哪些别碰。找它很简单：域名后面直接加 /robots.txt，不用工具、不用登录。但文章说，找到文件只是两分钟的机械活，真正难的是看懂这些规则到底在干什么。比如 disallow 只是「请求别来」，并不等于「别收录」；想让页面从搜索结果消失得用页面里的 noindex 标签，两者搞混就会出现「谷歌索引里能看到、却从没真正读过」的尴尬。另外框架动态生成、CDN 缓存旧版本、跳转链跑到别人域名，都是常见坑。

对你意味着做独立站、博客、内容站或给公司管官网的人都该看一眼自己的 robots.txt，一条陈年规则可能正在挡掉本该来的搜索流量。