你的模型评测指标，可能从一开始就选错了！准确率 96% 却毫无用处？5300 次调用揭穿小模型判官的假象

大白话有开发者在 Dev.to 上复盘：他们把一个便宜的小判断模型塞进 Claude Code 的多智能体流水线，想让大模型少烧点 Token。结果 16 天跑了 4222 次真实调用加 1092 次离线实验，发现它的高准确率大部分来自「跟着多数答案走」——比如文件筛选里 96% 的文件本来就无关，那它永远答「无关」也有 96% 准确率。真正开放式的问题上，它的表现从跟瞎猜差不多到还不错都有。最后团队把它撤了，只留下离线测试脚本。

对你意味着如果你在用 AI 编程、搭多智能体流水线，或者迷信「准确率」这个指标，这篇复盘值得看：指标选错，再准的模型也是白搭。