显存不够用，有人把模型权重白砍了四分之一！不丢一个比特，吞吐却翻 2.5 倍？斯坦福 12 位压缩把 GPU 显存榨干了

大白话跑大模型时，GPU 其实经常在「等数据」：每生成一个字，都得把整个权重矩阵从显存里搬一遍。NF12 的思路很朴素——训练好的模型里，绝大多数权重的指数位高 4 位都是同一个值，存着纯属浪费，干脆砍掉。8 个 BF16 权重从 16 字节压到 12 字节，省下 25%，而且一个比特都不丢。更关键的是它用定长编码，GPU 线程不用互相等，解码速度反而比直接读原权重还快。

对你意味着对做推理部署、算显存账的团队来说，这意味着同样的卡能塞下更长的上下文和更多并发；普通用户则可能间接享受到更便宜、更快的模型服务。