测试全绿,线上照样崩,问题出在哪?页面显示成功就算过:AI 测试假通过率被扒,140 个 bug 老工具一个没抓到
开发者 Arun 发文称,AI 智能体用 Playwright 测网页时只看页面文字,接口返回 500、数据没存进去也照样报「全部通过」,于是他做了个开源框架 Vedha 补这层漏洞。
大白话现在不少团队让 AI 智能体自己点网页做测试:说一句「测一下下单流程」,它就用 Playwright 开浏览器点一遍,看到「下单成功」就报通过。问题是页面写着成功,后台可能早就崩了——接口返回 500、服务器拒了请求、数据一条没存。作者做了个开源框架 Vedha,在 Playwright 外面加了一层核查:每一步都给出明确结果,会改数据的操作还会盯着网络请求,5xx 或报错就算失败,能读回的接口还会去确认数据真存进去了。
对你意味着如果你在用 AI 智能体做自动化测试,或者团队正被「测试全绿、线上出事」折磨,这个思路值得看一眼;不过作者自己也说 AI 对比只是小规模试点。
作者自述与自测数据,AI 对比仅单一免费模型、每任务 3 次试验,属试点规模,官方基准未获第三方验证
打开巨象雷达,看今天全部 AI 动态