自建大模型推理的注意，这个坑不升级躲不掉！155 条回答串了别人的数据？Cloudflare 大模型被曝跨用户泄露，元凶是 KV 缓存

大白话简单说，Cloudflare 在自家 AI 平台上跑了一个叫 GLM-5.3 的模型，它允许一次处理约 104 万 token 的超长上下文，但真正用来存中间状态的缓存池只配了约 68 万 token。于是有些请求能进得来、却装不下，走到报错路径上，旧请求留下的缓存没被覆盖，新请求就“读”到了别人的内容。另一边 SGLang 引擎还有个并发问题：一个缓存位置被释放时，远端的数据写入可能还在路上，结果两边抢同一块地。官方说受影响的只有 155 条回答，且都是超长提示词触发。

对你意味着如果你在用云端大模型 API 处理敏感内容，这条值得留意：问题不在模型“说错话”，而在底层缓存复用逻辑。自建 SGLang 推理服务的团队更该检查配置和版本。