27 分的冷门论文,可能藏着智能体记忆的新思路!大模型记忆不用再塞上下文?这篇论文想把记忆直接注进输入流
Hacker News 上有人贴出一篇 arXiv 新论文 Memorilla,提出用潜在语义记忆给大模型做长期记忆,楼里有人把它理解为一种特化的 RAG 嵌入。
大白话这是 arXiv 上的一篇论文,名字叫 Memorilla,主打给大模型做「潜在语义记忆」。简单说,就是让模型不用每次都把一大堆历史内容硬塞进上下文窗口,而是把记忆存成一种语义表示,需要时再取出来用。Hacker News 上有人看了摘要后说,这有点像专门为 RAG 做的嵌入,中间再放一个模型处理智能体的查询,然后把结果直接注入主模型的输入 token 流里。目前只有 27 分、1 条评论,属于小范围讨论。
对你意味着如果你在折腾 AI 智能体的长期记忆、RAG 或者上下文成本,这篇值得扫一眼;不过目前只是论文阶段,离能直接上手还远。
论文摘要与 Hacker News 网友解读,具体效果以论文和官方为准
打开巨象雷达,看今天全部 AI 动态