为什么平均权重不是瞎搞?微调完只留最好的那个:把几个模型权重一平均,反而比冠军还强
Dev.to 一篇技术文指出:同一预训练底座微调出的多个版本,把权重逐元素平均成「模型汤」,常常比挑单个最优版本效果更好,推理还不加钱。
完整的大白话解读、专业细节和短视频口播稿,打开巨象雷达登录后查看。
原文:Model Soups: Why Averaging Fine-Tuned Weights Beats Picking the Best One
打开巨象雷达,看今天全部 AI 动态Dev.to 一篇技术文指出:同一预训练底座微调出的多个版本,把权重逐元素平均成「模型汤」,常常比挑单个最优版本效果更好,推理还不加钱。
完整的大白话解读、专业细节和短视频口播稿,打开巨象雷达登录后查看。
原文:Model Soups: Why Averaging Fine-Tuned Weights Beats Picking the Best One
打开巨象雷达,看今天全部 AI 动态