你给 AI 塞得越多,它可能越糊涂!窗口塞满 11 万 Token 反而变笨?上下文一长模型就开始装傻
Dev.to 一篇实测帖指出:模型能装下百万 Token,不等于读得准;上下文越长,回忆能力越差,换模型也躲不掉。
大白话很多人以为上下文窗口越大越好,于是把整段聊天记录、整份文档一股脑塞给模型。这篇帖子的意思是:塞得下和读得准是两回事。Token 一多,模型从里面找关键信息的能力就会下降,作者管这叫「上下文腐烂」。帖子里举了个例子:客服机器人每轮都把全部对话重发一遍,客户第 3 条消息说了自己买的是年付套餐,到第 40 条要退款时,机器人却照着月付政策回答——事实一直在提示词里,模型就是没用上。作者给了两个小脚本:一个统计每次调用到底发了多少 Token,一个做「大海捞针」测试,看模型在你实际使用的长度下还能不能找到关键信息。
对你意味着如果你在做客服机器人、知识库问答或 AI 编程助手,这条直接关系到回答准不准和 Token 花多少;别只看厂商宣传的窗口大小,要测自己真实发送的长度。
Dev.to 开发者社区技术文章,含作者实测与引用的第三方研究,非官方结论
原文:"Context Rot: Test Your App for It, Then Trim What the Model Reads"
打开巨象雷达,看今天全部 AI 动态