研究人員稱 GPT-6 Astra 編輯了小型 Qwen 模型的權重,在未經訓練的情況下提升其數學能力
X 帳號 rikiyatakehi 發文稱,作者請 GPT-6 Astra 編輯 Qwen3.5-0.8B 的權重,以提升其數學能力。他們表示,模型直接修改的權重僅占 0.016%,便修正了小型模型的推理循環,使數學能力提升最高達 6 倍、指令遵循能力提升 3 倍,而且沒有使用梯度或進行訓練。他們將這種方法稱為 Weight-Space Programming。
來自 MIT CSAIL 的作者在 11 月 2 日發布的部落格文章中介紹了這項方法。他們報告稱,MATH-500 的成績從 7.9% 提升至 48.1%,IFEval 的成績則增加至 3 倍。在規模較小的實驗中,他們表示,Astra 僅根據原始權重便說出了某個小型網路受訓玩的遊戲名稱;透過編輯 3.5% 的權重,修復了失效的汽車控制策略;並從零開始編寫小型遊戲網路,表現勝過訓練 1 億步的 PPO 網路。
這些結果是作者自己的說法,尚未經過獨立查證。截至 11 月 2 日,該貼文在 X 上約有 9,600 個讚和 419 則回覆。
來源
討論
- Astra can read and write weights to improve QwenHacker News · 268 則留言
- Astra can read and write weights to improve QwenHacker News · 525 則留言
- i've reproduced the results from the MIT blog post today on weight-space programming. but one additional result i have to add: this is a…X · 19 則留言
- For anyone questioning whether this post is overhyped, I think they are actually *underselling* the approach.X · 52 則留言
- LLMs are not superhuman at reading and writing neural network weightsHacker News · 2 則留言
- The 'Astra can read and write weights to improve Qwen' post is misleadingHacker News · 70 則留言
- The 'Astra can read and write weights to improve Qwen' post is misleadingHacker News · 205 則留言
- LLMs are not superhuman at reading and writing neural network weightsHacker News · 14 則留言
- Qwen 3.8 27B on my laptop can interpret model weights, tooHacker News · 97 則留言
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。