你测 AI 的方法,可能从一开始就错了!一条评论把自家实验推翻重做:8 比 0 打脸后,他们测了 240 次才发现更扎心的结果
有开发者复盘:读者指出他们用重叠置信区间比较同一批问题属于方法错误,重算后自家工具 0 比 8 完败,p=0.0078,随后重做的实验又给出意外结论。
大白话有个开发团队之前发文章说,他们做的 Skill Forge 工具在 120 道题里答对 110 道,一次性提示答对 118 道,但两组数据区间重叠,他们就含糊地说差距不明显。结果一位读者在评论区指出:同一道题跑两次不算独立样本,区间重叠也不该拿来比。团队回去按题配对重数,发现一次性提示赢了 8 对、自家工具 0 对,p 值 0.0078,等于被自己的数据打脸。他们把这套批评带进下一个实验,改成先登记比较方案、用真实工具调用记账,跑了 240 次。
对你意味着做 AI 评测、写 Agent 指令的人最该看:怎么比、比什么、失败怎么算,一步错结论就反了。
来源为 Dev.to 开发者社区作者自述的实验复盘,属个人团队公开记录,非厂商官方结论
打开巨象雷达,看今天全部 AI 动态