修好一个 bug,冒出三个新 bug?别再花大钱买评测平台了!30 条真实用例就能挡住大模型翻车
Dev.to 一篇实操文戳破行业幻觉:LLM 评测根本不需要供应商和仪表盘,一个文件加几十行断言,今天下午就能写完。
大白话很多人以为给大模型做评测得买平台、搭看板、组团队。这篇文章说完全不用:把用户真实报过的坏例子攒起来,每条写清「正确答案该满足什么」,再用普通代码检查 JSON 能不能解析、字段有没有缺、分类对不对、订单号是不是凭空编的。这些检查免费、确定、跑得快,塞进 CI 就能当回归闸门。只有语气、摘要是否忠实这类代码看不出来的东西,才轮到「让模型当裁判」,而且裁判本身也得先验证过才敢信。
对你意味着只要你在产品里接了 LLM、改过提示词,就踩过「修好一个 bug 冒出三个新 bug」的坑。这套方法零成本可落地,和每个 AI 应用开发者都有关。
打开巨象雷达,看今天全部 AI 动态