补丁改的文件,恰好被冻结测试覆盖,这绿灯等于没验!测试全绿就是通过?这篇长文戳穿 AI 补丁「借来的绿灯」
作者指出,智能体提交的补丁跑出全绿并不等于验证通过:从基线分支继承来的跳过用例会悄悄缩小证据面,随机重抽的属性测试让通过结果无法复现。
大白话平时我们看 AI 写的代码靠不靠谱,就看测试是不是全绿。但这位开发者说,这个「绿」可能是借来的:基线分支里本来就跳过、冻结的用例,到了补丁里还是没跑,可报告上只显示「多过了 2 个测试」。他的办法很朴素——把每次跑测试的「跑了哪些、跳了哪些」都记下来,基线跑一遍、补丁跑一遍,再对比差值,看这盏绿灯里到底有多少是补丁自己挣来的。他还提醒,如果被冻结跳过的文件正好是补丁改动的文件,那这盏绿灯基本等于没验。
对你意味着如果你在用 AI 智能体自动改代码、自动提 PR,这套「证据核算」思路能帮你识别假绿灯;对做 CI 流水线的团队也有参考价值。
Dev.to 开发者社区技术长文,观点与代码为作者个人实践,文中 trace 为示意而非基准测试
原文:Inherited Green: Freeze Debt Accounting for Agent Patches
打开巨象雷达,看今天全部 AI 动态