三个人说 AI 行不行,能给你三个答案!100 条真实样本就能验收 AI 功能?这套「黄金集」打法把嘴仗变成数字
Dev.to 一位作者提出:与其三个人吵 AI 功能到底行不行,不如固定 100 条真实输入加标准答案,每次改动都跑一遍,用分数说话。
大白话很多团队判断 AI 功能好不好用,全靠最近碰巧看到的几个例子,三个人能给出三种结论。这篇文章的办法很土但管用:从真实业务流程里抽 100 条输入,人工标好正确答案,冻起来当「考卷」。以后换提示词、换模型、调阈值,都拿这张卷子重考一遍,分数掉了立刻能看见。作者还提醒,100 条的误差不小,95 分背后真实水平可能在 89 到 98 之间,所以它是个报警器,不是保证书。
对你意味着只要你在公司里做 AI 功能、又老被问「这玩意儿靠谱吗」,这套方法能让你拿数字回话;注意别拿它当训练数据,否则分数就失真了。
原文:The golden set: 100 labelled examples as the acceptance test for an AI feature
打开巨象雷达,看今天全部 AI 动态