你以为的玄学调参,其实是抽卡!不训练不调权重,只给输出加个随机偏置就能涨分?这论文把「玄学调优」打回原形
有研究复现了「神经厚丛」现象带来的推理提升,却发现根本不用在权重空间里找什么专家邻域,给冻结模型的输出加个随机偏置就能追平甚至反超。
完整的大白话解读、专业细节和短视频口播稿,打开巨象雷达登录后查看。
Dev.to 文章转述 arXiv 预印本,文章自述由 AI 辅助撰写;结论尚未经同行评审
原文:Random logit bias rivals weight perturbation for model gains
打开巨象雷达,看今天全部 AI 动态