你的模型越训越稳,也越来越学不进新东西!遗忘率压到 -0.39%,新技能却只学进 24%?零遗忘微调撞上「可塑性墙」
开发者把零空间投影用在 SmolLM-135M 上做连续微调,旧任务几乎不再遗忘,但新任务收益从 15% 掉到 3.7%,代价被完整量化。
完整的大白话解读、专业细节和短视频口播稿,打开巨象雷达登录后查看。
开发者个人博客的实测基准,代码与数据已开源并注册 DOI,结论未经同行评审
原文:Zero Forgetting in LLMs? We Benchmarked Null-Space Projection on SmolLM and Hit the Plasticity Wall
打开巨象雷达,看今天全部 AI 动态