AI 测试工具最大的问题不是漏报,是误报!只丢一个网址,AI 跑出 23 个 bug,人工一查只剩 8 个是真的
有人让自家 AI 测试智能体只凭一个网址去测公开演示电商站,30 分钟写了 289 条测试、报了 23 个问题,作者逐条复核后只有 8 个成立。
大白话Toolshop 是个公开的演示硬件商店,很多测试新手拿它练 Playwright 和 Cypress。作者把自家 AI 测试智能体 TestOptim 直接指向这个网址,不给测试计划、不给账号、不给任何提示。半小时里它逛了 17 个页面、梳理出 16 条用户流程和 29 条业务规则,写了 289 条测试、跑完 71 条,报出 23 个问题。作者自己在线上逐条验证,8 个成立、9 个被否、6 个要登录才能查。最典型的一个:注册页和接口都要求密码至少 8 位,报错文案却还写着最少 6 位。
对你意味着如果你在评估 AI 测试工具,这篇的价值不在那 8 个 bug,而在被否掉的 9 个——它告诉你 AI 报的错里有多少是误报。
作者自述的实测复盘,属个人项目经验分享,非官方评测
原文:An AI agent tested Toolshop from just the URL: 23 issues, 8 real
打开巨象雷达,看今天全部 AI 动态