你写的 AI 技能,可能正在帮倒忙!9 个 Claude Skill 实测:平均分从 22% 飙到 96%,却有 1 个把代码写坏了
开发者给自研 TypeScript 库写了 9 个 Agent Skill,用自建工具跑 276 次生成、828 次评分,结果一个 validate 技能被判 NOT READY。
大白话有位开发者给自家小库 mini-fp 写了 9 个 Claude Skill,教模型怎么用这个库。光靠读 SKILL.md 看不出效果,他就做了个叫 skill-be 的工具:同一道题让模型裸答一遍、带着 Skill 再答一遍,各跑 3 次,再让另一个模型当裁判逐条打分。整体平均分从 22% 涨到 96%,但 validate 这个技能反而让模型多写了一层判断和拆包,把原本干净的代码搞复杂了。
对你意味着如果你也在写 Claude Skill 或给 AI 写提示词,这条说明「读着顺」不等于「真有用」,得靠跑分验证。
开发者个人博客的实测记录,数据来自其自建评测工具,非官方结论
原文:I measured whether my Claude skills help. One of them made the code worse
打开巨象雷达,看今天全部 AI 动态