你的推理账单，一半花在缓存上！参数越大缓存越小？671B 的 DeepSeek 每 token 缓存竟比 32B 模型还省

大白话很多人以为模型越大、跑起来越贵，但这位作者拿三个真实配置一算发现：缓存占用的关键不是参数多少，而是每层保留几组 key/value 向量。Qwen3-32B 用分组查询注意力，缓存直接省 8 倍；DeepSeek-V3 虽然总参数 671B，靠潜变量缓存又把每 token 缓存压到比 32B 模型还小。作者还提醒：说「32B 模型塞得进一张 H100」，不等于「能跑 128k 长上下文」——光缓存就要 34 GB，卡根本装不下。

对你意味着自己部署模型、算推理成本的人都该看：选模型别只盯参数量，先看 kv_heads 和有没有潜变量缓存，这决定了长上下文和智能体跑起来到底烧不烧钱。