🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to2026-10-31 18:59AI 生成

你的微调结果可能只是随机种子的巧合!微调必掉能力?9 组实验全都没掉,作者反而慌了:这不对劲

有人在 Qwen2.5-3B 上跑了 9 组 LoRA 微调,通用能力不但没退化反而涨了 9 个点,反常到作者连查三轮才敢信。

大白话大家默认一个常识:模型拿小数据微调完,原来会的东西多少会忘一点。这位作者不信邪,在 Qwen2.5-3B-Instruct 上做了 9 组实验,把 LoRA 的秩(4/16/64)和训练步数(50/200/500)交叉组合,每组都测一遍法律分类任务和 120 道 MMLU 通用题。结果 9 组没有一组通用能力低于原始模型,最大那组还涨了 9.1 个百分点。数字只往一个方向走,作者觉得不对劲,先排查解析 bug,再排查量化加载,最后发现真正的问题是没固定随机种子。补做重训后,最小那组的 100% 是巧合,最大那组的提升倒是三次都复现了。
对你意味着如果你自己微调过模型、担心越调越傻,这篇实测能给你一点底气;但也提醒一句,单次训练的结果别太当真。

Dev.to 开发者个人实验复盘,非官方研究,样本为单模型单任务

原文:How much does an adapter forget?

打开巨象雷达,看今天全部 AI 动态