你的 CI 绿灯,可能只是张假通行证!重跑 3 次全绿就敢合代码?算完概率我人傻了:漏检率高达 94%
有开发者算了一笔账:单次失败率 2% 的 flaky 测试,重跑 3 次只有约 5.9% 的概率能抓到它,剩下 94% 的情况是绿灯放行、带病合并。
大白话很多团队在 CI 里设了「测试挂了就重跑三次,全绿就算过」。这篇 Dev.to 文章说,这其实不是在检测 flaky 测试,而是在赌它这次会不会闹得够大声。作者把重跑当成抽样:单次失败率 p,重跑 k 次全过的概率是 (1-p)^k,所以能抓到的概率是 1-(1-p)^k。按这个公式,1% 的偶发失败要重跑约 299 次才有 95% 把握抓到,3 次只能抓到约 3%。文章还给了估算失败率、反推重跑次数的小脚本和决策表。
对你意味着如果你在用 AI 智能体自动改代码、合并补丁,这条直接关系到「绿灯」到底可不可信;对任何维护 CI 的团队都值得看一眼。
Dev.to 开发者社区技术文章,观点与数据为作者个人测算
原文:Three Green Reruns Prove Almost Nothing: Sizing a Flake-Detection Budget for Agent Patches
打开巨象雷达,看今天全部 AI 动态