权重还没开源,先别急着吹!1.6 万亿参数只用 480 亿激活?美团 LongCat-2.5 全用国产芯片硬训出来了
美团 11 月 2 日发布 LongCat-2.5,总参数 1.6 万亿、每 token 仅激活约 480 亿,训练全程跑在国产芯片上,单卡显存不到 80GB。
大白话美团在 11 月 2 日放出 LongCat-2.5,总参数 1.6 万亿,但每生成一个字只动用约 480 亿参数,所以真正烧算力的部分小得多。最抓人的是:整个训练都跑在国产芯片上,而且每张卡显存不到 80GB。按 2 字节存一个参数算,光模型权重就要约 3.2TB,相当于 40 张 80GB 卡才装得下,团队只能把任务拆到大量卡上,重新设计分工方式。
对你意味着关心国产算力能不能撑起万亿级大模型的人,这是少见的工程细节披露;但官方还没开放权重,想自己跑一遍验证暂时没门。
据美团技术博客及 Dev.to 作者转述,官方尚未开放权重,暂无独立第三方复现评测
原文:LongCat-2.5 โมเดล AI 1.6 ล้านล้านพารามิเตอร์ ฝึกบนชิปจีนล้วนได้อย่างไร?
打开巨象雷达,看今天全部 AI 动态