研究人员称,GPT-6 Astra 编辑了一个小型 Qwen 模型的权重,在不训练的情况下提升了数学能力
X 账号 rikiyatakehi 发帖称,作者让 GPT-6 Astra 编辑 Qwen3.5-0.8B 的权重,以提升其数学能力。他们表示,模型直接改动的权重仅占 0.016%,修复了小模型的推理循环,使数学能力最高提升 6 倍、指令遵循能力提升 3 倍,且没有使用梯度或进行训练。他们将这种方法称为 Weight-Space Programming。
来自 MIT CSAIL 的作者在 11 月 2 日发布的博客文章中介绍了这一方法。他们报告称,MATH-500 得分从 7.9% 升至 48.1%,IFEval 得分则提升了三倍。在规模较小的实验中,他们称,Astra 根据一个小型神经网络的原始权重说出了该网络受训的游戏名称;通过编辑 3.5% 的权重,修复了一个失效的汽车控制策略;还从零开始编写了小型游戏网络,其表现优于经过 1 亿步训练的 PPO 网络。
这些结果是作者自己的说法,尚未经过独立核实。截至 11 月 2 日,该帖在 X 上约有 9,600 个赞和 419 条回复。
来源
- 我们让 GPT-6 Astra 编辑 Qwen3.5-0.8B 的权重,以提升数学能力。X · 419 条评论
讨论
- Astra can read and write weights to improve QwenHacker News · 268 条评论
- Astra can read and write weights to improve QwenHacker News · 525 条评论
- i've reproduced the results from the MIT blog post today on weight-space programming. but one additional result i have to add: this is a…X · 19 条评论
- For anyone questioning whether this post is overhyped, I think they are actually *underselling* the approach.X · 52 条评论
- LLMs are not superhuman at reading and writing neural network weightsHacker News · 2 条评论
- The 'Astra can read and write weights to improve Qwen' post is misleadingHacker News · 70 条评论
- The 'Astra can read and write weights to improve Qwen' post is misleadingHacker News · 205 条评论
- LLMs are not superhuman at reading and writing neural network weightsHacker News · 14 条评论
- Qwen 3.8 27B on my laptop can interpret model weights, tooHacker News · 97 条评论
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。