🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to2026-11-04 11:20AI 生成

换了个更强的模型,格式反而全崩了?周五随手改一句提示词,线上功能悄悄变差:老哥用 CI 门禁把这事焊死了

一位开发者把提示词从配置字符串升级成带版本、带评测集、带 CI 门禁的代码,改坏了直接不让合并。

大白话很多人调大模型功能,就是随手改一句提示词,程序不报错,但输出悄悄变差,等客户投诉才发现。这位作者的做法很土但管用:每个提示词单独放一个文件,写清版本号和改动说明,改动会出现在代码评审里;再攒 30 到 50 条真实线上案例当评测集,检查输出里必须出现和绝不能出现的词;最后在 CI 里跑一遍,新版本通过率低于旧版本就拦住合并。换模型也要过同一道门。
对你意味着做 AI 产品、写提示词的开发者都该看看,尤其是团队协作、经常换模型的场景,能省掉大量「怎么突然变笨了」的排查时间。

原文:Prompt Versioning and Release Gates for LLM Apps

打开巨象雷达,看今天全部 AI 动态