671B 模型只激活一小部分参数，为啥还要 746GB？70B 模型要 97GB 显存：自托管大模型这份显存账单劝退一半人

大白话很多人想把大模型从云端 API 搬回自己服务器，第一反应是挑哪个模型最强。这篇文章说，顺序反了，先得算显存。显存主要吃两块：一是模型权重，70B 模型用 FP16 要约 140GB，压到 4-bit 约 35GB；二是 KV 缓存，会随对话长度和并发人数涨，Llama 3.3 70B 单条 8K 对话约 2.6GB，十个人同时聊就多出约 26GB。DeepSeek V3/R1 是 671B 的 MoE，每个 token 只激活约 37-40B 参数，但全部参数都得塞进内存，FP8 下约 746GB，基本得上一整台 8 卡 H200/B200 节点。Qwen3 覆盖最广，8B 在普通硬件上 4-bit 就能跑。

对你意味着想自己部署大模型的开发者、公司运维和算力采购，都能拿这份账先估预算，别买完卡才发现跑不动。