为什么智能体不能只靠单元测试?改个提示词智能体就变傻:有人用 TypeScript 手搓评测套件,20 条任务就能拦住回归
Dev.to 一篇教程指出:换个模型、改句系统提示词,智能体就可能悄悄变差,只有等用户投诉才发现——作者从空文件夹开始搭了一套小型评测,并接进 CI。
大白话智能体和普通代码不一样:同一个问题,模型每次回答都可能不同,所以传统单元测试只能算半管用。这篇教程的做法是给智能体一批真实任务,在干净环境里跑好几遍,再给结果打分,看它到底行不行。作者建议起步别贪多,从真实翻车案例里挑 20 到 50 条任务,每条多跑几次,必须稳定成功的就用 pass^k 指标衡量。他还特意不用现成框架,把底层逻辑摊开给你看。
对你意味着如果你在写智能体、调提示词或换模型,这套小评测能让你在发版前就发现「它变笨了」,而不是等用户来骂。
打开巨象雷达,看今天全部 AI 动态