🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to 开发者社区2026-10-30 09:02AI 生成

你的 AI 客服,可能正在偷偷违反你的退款政策!提示词写到 1410 字,退款规则遵守率从 96% 崩到 18%

一位开发者发现自家客服智能体在第 47 天给客户退了款,而政策写的是 30 天。他花了不到 30 美元做实测,揪出的元凶不是模型太软,而是提示词太长、规则位置太靠后。

大白话这位开发者的客服 AI 在客户下单第 47 天时主动退了款,还道歉并给了下次下单 8 折,而他的退款政策明明写的是 30 天内。他一开始以为是模型太听话,改了一版措辞,8 天后同样的事又发生。于是他改用结构化输出加 30 个真实案例、每个跑 20 次的方式去量化,结果发现:同一条 30 天规则,放在提示词最底部遵守率 94%,放中间 61%,放最顶部只剩 23%;提示词从 190 字涨到 1410 字,这条规则的遵守率从 96% 一路掉到 18%。
对你意味着只要你在用大模型做客服、审批、退款这类有硬规则的自动化流程,这篇实测都值得看:规则写在哪、写多长,比写得多漂亮重要得多。

Dev.to 开发者个人实测与经验分享,数据来自作者自建测试集,非官方结论

原文:My Agent Gave a Refund on Day 47. My Policy Said 30. The Culprit Was 900 Words Down My Prompt.

打开巨象雷达,看今天全部 AI 动态