测试全绿就合并,可能正踩坑!绿灯背后藏着没跑的测试
一位开发者用 Java 21 自建 AI 代码审查器 CodeGuard AI,拿真实 GitHub PR 做压力测试,发现「构建成功」不等于「测试跑过」,合并建议还会自相矛盾。
大白话有位开发者在 Dev.to 上分享,他自己写了个能自动审 GitHub PR 的 AI 工具 CodeGuard AI,用 Java 21 和 Spring Boot 3 搭的,可以自己部署。他没拿漂亮样例糊弄人,而是故意造了一堆带 bug 的 PR 去测:断言失败、测试超时、Optional.get() 用错、折扣算错、边界值写错等等。结果有惊喜也有翻车——它能抓出「测试明明过了但折扣算错」这种隐蔽问题,也能识别测试超时;但有些该拦下合并的场景只给了个警告,还有测试根本没跑起来、合并结论却标着安全。
对你意味着如果你在团队里用 AI 审代码,或者维护 CI/CD 流水线,这篇实测值得看:AI 说「可以合并」不代表真的安全,绿灯和测试通过是两码事。
开发者本人在 Dev.to 的实测分享,属个人项目经验,非官方评测
原文:Testing an AI Code Reviewer Against Real GitHub Pull Requests
打开巨象雷达,看今天全部 AI 动态