自己部署万亿模型,到底能省多少钱?万亿参数直接开源:Mistral 这波把闭源大厂的定价底裤扒了
Dev.to 一篇技术分析称,Mistral 放出 Mistral Large 4(Le Chonk)权重,1 万亿参数、Apache 2.0 兼容可商用,还宣称推理成本比 GPT-4-Turbo 低约三成。
大白话简单说,就是一家欧洲 AI 公司把自家最大的模型「白送」出来了:1 万亿参数,权重公开,商用也不拦着。文章里说它靠两种省显存的注意力技巧,把长上下文拉到 64k token,单张 A100 就能啃 50 页合同,推理内存从约 150GB 压到约 80GB,一张 H100 能同时跑两个实例。作者还举了个例子:以前改 bug 来回半小时,换它 12 秒出补丁。不过这些都是文章作者的说法,官方基准和真实体验还得自己验。
对你意味着做 AI 应用、算过 Token 账的团队都该看一眼:开源大模型一旦能商用,自建推理的成本账要重算。
来源为 Dev.to 个人技术分析文章,文中基准与成本数据未经官方核实
原文:Mistral’s 1‑Trillion‑Parameter Model Is Open‑Source—What This Means for Your Business
打开巨象雷达,看今天全部 AI 动态