一张顶配显卡，连模型的零头都装不下！4-bit 也要 372GB 显存？本地跑旗舰大模型这笔账算完劝退所有人

大白话作者本来特别想得出「买台机器自己跑」这个结论——下载开源权重、不烧 Token、不看额度表，听着就很爽。但他认真算了笔账：像 GLM-5.2 这种 7440 亿参数的大模型，就算压到 4-bit，权重也得占 372GB 左右，而英伟达 RTX 5090 只有 32GB 显存，差了 11 倍多。苹果 Mac Studio 最高能配到 512GB 统一内存，装是能装下，但装得下不等于跑得快、撑得住长上下文和多人同时用。

对你意味着如果你正打算「买张卡自己跑大模型省订阅费」，这篇能帮你先算清账；小团队想自建推理服务尤其值得看。