AI 编程智能体天天烧钱,可能不是模型贵,是你喂太多!同一个模型贵 7 倍?英伟达实测:上下文越长,越靠后的 Token 越烧钱
英伟达团队在 H100 上实测发现,同样生成 100 万 Token,塞进 25.6 万上下文尾巴比 1.6 万上下文贵约 7 倍,长上下文并非免费午餐。
大白话很多人以为上下文窗口越大越好,把整个代码仓库、测试日志、终端输出一股脑塞给 AI。英伟达一个研究团队在真实 H100 显卡上跑了 Qwen 3 Coder Next、Kimi K2.6、GLM 5.2 等开源模型,发现越靠后的 Token 生成越贵:Qwen 3 Coder Next 在 25.6 万上下文尾部生成,每百万 Token 约 10 美元,而 1.6 万上下文只要约 1.4 美元。原因是模型要拿新 Token 和前面所有 Token 做注意力计算,缓存越堆越大,显存带宽被吃满。论文后半段还测了一种「定期压缩上下文」的做法,在 SWE-bench 等智能体测试上表现不差。
对你意味着如果你在做 AI 编程智能体、天天把整份代码和日志灌进上下文,这笔隐形账单可能正在悄悄烧钱;学会压缩上下文,比无脑加窗口更划算。
原文:The 7x Late Token Penalty: Why Long Context Is Bleeding Your Inference Budget
打开巨象雷达,看今天全部 AI 动态