做模型评测的，这个坑九成人都踩过！告警 4.3 分，模型自己却晃 8.57 分？AI 评测回归检测被噪声按在地上摩擦
一位开发者复盘：漂移追踪器报告 Grok 4.3 掉了 4.3 分，可同一套题重跑三次，模型自己上下浮动 8.57 分——告警量还不到噪声的一半。
大白话这位开发者给一堆模型做每日评测，某天系统自动报警说 Grok 4.3 掉了 4.3 分。他回头把同一套冻结的题、同一个模型又跑了三次，结果三次之间分数能差 8.57 分。也就是说，他报的那个「退步」，比模型自己随便跑跑的抖动还小。问题出在阈值用错了：他卡的是「一次运行最小能表示多少分」这种算术下限，而不是「同一个模型重跑会晃多少」这种噪声下限。更扎心的是，全榜 20 个模型里有 10 个的实测抖动都大于那个算术下限。
对你意味着凡是拿大模型跑评测、做 CI 回归门禁、或者看榜单排名下结论的人，都该先问一句：这个差距，比噪声大吗？
开发者个人博客与 Dev.to 复盘文章，数据来自其自建评测仓库，非厂商官方结论
原文：My regression detector alerted on 4.3 points. The model moves 8.57 between runs.
打开巨象雷达，看今天全部 AI 动态