以后修模型,可能不用再烧卡重训了!只动 0.016% 权重,数学分从 7.9% 飙到 48.1%?MIT 用 GPT-6 给 Qwen 做「基因
MIT CSAIL 称用 GPT-6 Astra 直接改写 Qwen3.5-0.8B 的权重,几乎不训练就把 MATH-500 分数拉高约 6 倍,业内直呼「比蒸馏还猛」。
大白话MIT 的一群研究者做了件挺科幻的事:不重新训练模型,而是让一个更大的模型 GPT-6 Astra 直接去「改」小模型 Qwen3.5-0.8B 内部的数字参数,就像给代码打补丁。结果这个小模型的数学测试分数从 7.9% 涨到 48.1%,而改动的参数只占全部约 0.016%。他们把这套玩法叫「权重空间编程」。提升主要来自修正模型反复绕圈子的推理毛病。
对你意味着如果这条路走通,以后修模型可能不用再烧几万张卡重训,小模型也能被「点穴」变强,对做开源模型和算力成本的人都有关。
据 Slashdot 转引 VentureBeat 报道及研究者博客,具体复现细节以官方论文/博客为准
原文:MIT Researchers Used GPT-6 Astra To Edit Qwen's Open Weights Directly, Boosting Math Scores
打开巨象雷达,看今天全部 AI 动态