官方示例直接 8 张卡,单卡玩家可以散了!1 万亿参数却只激活 52B?Mistral 开源巨兽把自托管门槛摆上台面
Mistral Large 4 权重正式放出,总参数约 1 万亿、每 token 仅激活约 52B,但下载和显存仍按万亿算,普通工作站直接被劝退。
大白话Mistral 在 10 月 29 日把 Large 4(外号 Le Chonk)的权重放上了 Hugging Face,不再是只能调 API 的预览版。它是个混合专家模型:总共约 1 万亿参数,但每生成一个字只叫醒其中一小部分,所以算力感觉像 52B 的模型。可问题是,所有专家都得存下来,FP8 版本下载量按 TB 算,官方示例直接上 8 卡并行。换句话说,跑得动和存得下是两码事。
对你意味着想本地私有化部署大模型的团队要清醒:这不是单卡游戏,先算清硬盘和显存预算再动手。
原文:Mistral Large 4's Weights Are Out: Can You Actually Self-Host a 1T Model?
打开巨象雷达,看今天全部 AI 动态