你的评测脚本，可能一直在给 A 位放水！换个顺序 87 条结论就翻盘？LLM 当裁判的偏心被扒了个底朝天

大白话现在很多人比较两个提示词或两个模型谁更好，图省事就让另一个大模型当裁判，把答案摆成 A、B 让它选。这位开发者发现，裁判其实很看「座位」：同一个答案放前面就容易赢。他把新提示词固定放 A 位时胜率 66%，对调位置后只剩 43%。600 次判定里 A 位赢了 369 次，占 61.5%。他还做了「镜像测试」——两边放一模一样的答案，裁判照样 34 次选 A、9 次选 B。

对你意味着只要你在做提示词对比、模型选型、RAG 调参，用大模型打分，这个坑几乎必踩；不换位重跑，你的「提升 20%」可能只是座位红利。