🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
量子位2026-10-26 14:45AI 生成

跑 Agent 长任务显存爆掉的,终于有解了!KV Cache 砍掉 99%!单卡 512 路长推理狂飙 6 倍,显存焦虑要终结了?

岩山科技旗下岩芯矩阵联合港科大、CMU 开源 EdgeRock-4B,256K 上下文下 KV Cache 固定 72MiB,比源模型少 99.1%,推理能力却基本没掉。

完整的大白话解读、专业细节和短视频口播稿,打开巨象雷达登录后查看。

原文:KV Cache砍掉99%,单卡吞吐飙6倍,港科CMU联手岩山科技开源新模型

打开巨象雷达,看今天全部 AI 动态