🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to2026-11-05 15:26AI 生成

先写答案再跑模型,这顺序为什么关键?同一批单子换个开场白,AI 预测就变脸:有人搭了个测试台把锅揪出来

一位开发者用 Claude Code 搭了套小测试台:同一批虚构销售单、同一份事先写好的标准答案,只换开场角度,看 AI 的分类会不会跟着漂。

大白话场景很日常:销售团队让 AI 写周会预测备忘,把每笔单子分进「必成」「有望」「管道」三档。销售负责人随口要求「先讲覆盖率」或「先讲上季度掉链子」,AI 写出来的备忘就不一样了。问题是,分类结果会不会也跟着变?如果会,那「必成金额」里就掺了写作角度的水分,而看备忘的人根本察觉不到。作者的做法是:先造 40 笔虚构单子、先写死标准答案,再让模型用固定工具结构交卷,最后用打分器把「角度造成的差异」和「模型每次自己抖一下」分开。
对你意味着做 AI 智能体评测、或者正把 AI 塞进业务流程的人值得看:它给了一套能直接抄的对照实验骨架,提醒你别把模型的随机抖动当成业务信号。

作者在 Dev.to 发布的个人实验与开源脚手架,非厂商官方研究

原文:Human in the loop AI: testing if a prep note moves the forecast

打开巨象雷达,看今天全部 AI 动态