研究者らによると、GPT-6 Astraは小型Qwenモデルの重みを編集し、学習なしで数学性能を向上させた

Xのアカウントrikiyatakehiによる投稿によると、投稿者らはGPT-6 Astraに、数学性能を高めるためQwen3.5-0.8Bの重みを編集するよう依頼したという。モデルが直接変更した重みはわずか0.016%で、小型モデルの推論ループを修正し、数学性能を最大6倍、指示追従性能を3倍に向上させたとしている。勾配も学習も使っていないという。この手法を「Weight-Space Programming」と呼んでいる。

MIT CSAILの著者らは、11月2日に公開したブログ記事でこの手法を説明している。MATH-500のスコアは7.9%から48.1%に上がり、IFEvalは3倍になったと報告している。小規模な実験では、Astraがネットワークの生の重みから、学習に使われたゲーム名を特定したほか、重みの3.5%を編集して性能の低い車両制御ポリシーを修正し、1億ステップ学習したPPOネットワークを上回る小型のゲームプレイ用ネットワークをゼロから作成したという。

これらの結果は著者ら自身の主張であり、独立した検証は行われていない。11月2日時点で、この投稿はXで約9,600件の「いいね」と419件の返信を集めていた。