🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
量子位2026-11-03 09:57AI 生成

以后小模型不行,直接让大模型改权重?不训练不调参,改 0.016% 权重数学暴涨 6 倍:MIT 这波把模型当代码改

MIT 实验称,把 0.8B 的 Qwen3.5 交给 GPT-6 Astra,只动 0.016% 权重,MATH-500 就从 7.9% 飙到 48.1%,全程没做梯度训练。

大白话简单说,MIT 的研究者让 GPT-6 Astra 直接「看」一个小模型的权重文件,像读代码一样找出问题,再动手改几行。他们发现 Qwen3.5-0.8B 做数学题老是绕圈、迟迟不交卷,Astra 就把推理循环相关的权重改掉,答题正确率一下从 7.9% 涨到 48.1%。更夸张的是,给一个权重全是零的空网络,Astra 也能一次写出能玩小游戏的网络,得分超过训练了 5 亿步的 PPO 基线 20 倍。团队把这套打法叫「权重空间编程」。
对你意味着如果这条路走通,以后小模型效果差,可能不用重训,直接让大模型「改权重」就行;对做模型微调和部署的团队是省钱省算力的新思路。

原文:MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍

打开巨象雷达,看今天全部 AI 动态