下完 20G 模型才发现跑不动,先算这笔账!16G 内存硬跑 14B 大模型?一张公式算出你到底会不会爆内存
Dev.to 一篇技术长文把本地跑大模型的内存账拆成三块:权重、KV 缓存、运行时开销,还给出量化对照表,顺手解释了为什么同一台机器 4K 上下文能跑、32K 就卡死。
大白话很多人下载本地模型前都在猜:我这台机器到底装不装得下?这篇帖子给了一个简单公式:总需求 = 模型权重 + KV 缓存 + 运行时开销。权重看量化格式,比如 14B 模型用 Q4_K_M 大约 7.3 GiB;KV 缓存随上下文长度线性涨,4K 约 768 MiB,32K 直接飙到 6 GiB;开销按权重的 10% 再加 200MB 估。作者还提醒,苹果统一内存实际只能用约 75%,独显则看显存上限。
对你意味着想在本地跑大模型、又不想下完才发现爆内存的人,可以照着算一遍再下载;顺便还能预判生成速度上限。
打开巨象雷达,看今天全部 AI 动态