下大模型前不看这个数,硬盘分分钟爆!标着 8-bit,实测只有 4.49 bit?Kimi 新模型精度标签被开发者当场拆穿
有开发者为算 Kimi K3.1 Pro 要占多少硬盘,把 96 个分片加总除以参数量,结果和页面上的「8-bit」标签对不上,差了整整一倍。
大白话有位开发者在 Dev.to 发帖说,他想知道 Kimi K3.1 Pro 下下来要占多少硬盘,结果发现模型页上两个数字互相打架:模型卡写的是 MXFP4 权重、MXFP8 激活,下载按钮旁边却挂着「8-bit 精度」的标签。他把仓库里 96 个分片的体积加起来,除以平台公布的约 2.78 万亿参数量,算出每个参数只占 4.49 bit。按 8 bit 算应该是约 2780 GB,按 4 bit 算是约 1390 GB,而实际文件是约 1561 GB。他又把 4-bit 权重、少数保留 16/32 位的张量、以及每 32 个权重一个的缩放系数三项加起来,和真实文件大小只差 139 MB,基本坐实了「4.49 bit 才是真的」。
对你意味着如果你要下载或部署这类超大模型,硬盘和带宽预算得按真实比特数算,别信标签;顺手也能学会用公开 API 自己核一遍。
Dev.to 开发者个人实测与推算,厂商未回应精度标签问题
原文:The model page said 8-bit. The checkpoint is 4.49 bits per parameter.
打开巨象雷达,看今天全部 AI 动态