跑 Agent 长任务显存爆掉的,终于有解了!KV Cache 砍掉 99%!单卡 512 路长推理狂飙 6 倍,显存焦虑要终结了?
岩山科技旗下岩芯矩阵联合港科大、CMU 开源 EdgeRock-4B,256K 上下文下 KV Cache 固定 72MiB,比源模型少 99.1%,推理能力却基本没掉。
完整的大白话解读、专业细节和短视频口播稿,打开巨象雷达登录后查看。
打开巨象雷达,看今天全部 AI 动态岩山科技旗下岩芯矩阵联合港科大、CMU 开源 EdgeRock-4B,256K 上下文下 KV Cache 固定 72MiB,比源模型少 99.1%,推理能力却基本没掉。
完整的大白话解读、专业细节和短视频口播稿,打开巨象雷达登录后查看。
打开巨象雷达,看今天全部 AI 动态