聊得越久越卡,这模型偏不!显存不再越聊越爆!4B 小模型把 KV 缓存焊死,普通笔记本也能跑图文推理
初创公司 Rock Matrix 开源 EdgeRock-4B,一个 40 亿参数的图文推理模型,靠固定大小的 KV 缓存只保留最有用的历史,让长对话不再吃爆内存。
完整的大白话解读、专业细节和短视频口播稿,打开巨象雷达登录后查看。
据 Dev.to 文章及 TestingCatalog 在 X 上的发布信息,模型实际效果官方尚未给出独立基准
原文:Free AI From A Startup Reads Photos And Text On Ordinary Laptops
打开巨象雷达,看今天全部 AI 动态