同一批请求,这家平台一半被拒!同一批 Agent 对话跑 7 家推理平台:有人一半请求被限流,缓存命中差出 15 倍
有开发者把同一批带工具调用的 Agent 对话,按同样顺序喂给 7 家推理平台,结果 Baseten 约一半 DeepSeek 请求被限流打回,Fireworks 冷启动轮次高达 165 次。
大白话一位开发者在 Dev.to 发帖,说他们拿 DeepSeek V4.1 Flash 和 GLM-5.3 Flash 两个模型,把完全相同的 Agent 对话(带工具调用、开满推理)按同样顺序、同样停顿时间,分别跑在 Keln、Fireworks、Together AI、Baseten、Modal、DeepInfra、Z.ai 七家平台上,比谁答得全、缓存命中高、解码快、每千轮花多少钱。结论是大多数平台都答完了,但 Baseten 因为单条提示动辄几万 token,同时跑 2 个会话就超了账号限额,DeepSeek 上约一半请求被限流拒绝;Modal 断了一条流,且直连 Modal 的应用得自己重发。缓存方面,Keln 在 DeepSeek 上命中率 94.3%,Fireworks 冷轮次 165 次,Keln 只有 11 次。
对你意味着如果你在给 Agent 选推理供应商,这份对比提醒你:便宜和快之外,限流阈值和缓存保持能力才是长会话真正的成本黑洞。
Dev.to 开发者自测帖,作者所在平台 Keln 也在被测名单中,存在利益相关,数据以原文图表为准
原文:AI Inference Benchmark: Keln vs Fireworks, Together AI, Baseten, Modal, DeepInfra & Z.ai
打开巨象雷达,看今天全部 AI 动态