改完提示词到底变好没，他终于有答案了？随机 80/20 切分骗了你：他把 LLM 评测搬进 CI，跑测试零 API 调用

大白话很多团队评测大模型的方式，就是看几条输出然后点头说「还行」。这位开发者受不了这种糊弄，做了个叫 llm-contract 的小框架：每次调用大模型都必须按固定格式吐 JSON，格式不对就把具体错误甩回给模型重试一次，还不行就转人工。更关键的是，他把测试用例录下来，跑测试时完全不调 API，直接回放，所以能塞进 CI，提示词一改就得过全套测试才能合并。他还踩过一个坑：时间序列数据用随机 80/20 切分，会把相邻样本漏进训练集，评测分数好看但上线就翻车，得按整段会话留出才靠谱。

对你意味着做 AI 应用、被「改完提示词到底变好没变好」折磨的开发者值得一看；提醒一句，回放测试只能保证格式稳定，不代表效果真的变好。