Araştırmacılar, GPT-6 Astra'nın matematiğini geliştirmek için küçük bir Qwen modelinin ağırlıklarını eğitim yapmadan düzenlediğini söylüyor
X'teki rikiyatakehi hesabından yapılan bir paylaşımda, yazarların GPT-6 Astra'dan matematik performansını artırmak için Qwen3.5-0.8B'nin ağırlıklarını düzenlemesini istediği belirtiliyor. Yazarlar, modelin ağırlıkların yalnızca %0,016'sını doğrudan değiştirdiğini; küçük modelin akıl yürütme döngülerini giderdiğini, matematik performansını 6 kata kadar, talimatları izleme becerisini ise 3 kat artırdığını ve bunu gradyanlar ya da eğitim kullanmadan yaptığını söylüyor. Bu yaklaşıma Weight-Space Programming adını veriyorlar.
MIT CSAIL'den yazarlar, yaklaşımı 2 Kasım'da yayımlanan bir blog yazısında anlatıyor. MATH-500 puanının %7,9'dan %48,1'e çıktığını ve IFEval performansının üç katına ulaştığını bildiriyorlar. Daha küçük deneylerde Astra'nın, ham ağırlıklarından küçük bir ağa hangi oyunun öğretildiğini bulduğunu, başarısız bir araç kontrol politikasını ağırlıklarının %3,5'ini düzenleyerek düzelttiğini ve 100 milyon adım boyunca eğitilmiş PPO ağlarını yenen, sıfırdan küçük oyun oynama ağları yazdığını söylüyorlar.
Sonuçlar yazarların kendi iddialarıdır ve bağımsız olarak doğrulanmamıştır. Paylaşımın 2 Kasım itibarıyla X'te yaklaşık 9.600 beğenisi ve 419 yanıtı vardı.
Kaynaklar
Tartışmalar
- Astra can read and write weights to improve QwenHacker News · 268 yorum
- Astra can read and write weights to improve QwenHacker News · 525 yorum
- i've reproduced the results from the MIT blog post today on weight-space programming. but one additional result i have to add: this is a…X · 19 yorum
- For anyone questioning whether this post is overhyped, I think they are actually *underselling* the approach.X · 52 yorum
- LLMs are not superhuman at reading and writing neural network weightsHacker News · 2 yorum
- The 'Astra can read and write weights to improve Qwen' post is misleadingHacker News · 70 yorum
- The 'Astra can read and write weights to improve Qwen' post is misleadingHacker News · 205 yorum
- LLMs are not superhuman at reading and writing neural network weightsHacker News · 14 yorum
- Qwen 3.8 27B on my laptop can interpret model weights, tooHacker News · 97 yorum
Bu tür haberleri bildirim olarak alın.
Kullandığınız araçlarda bir şey değiştiğinde AI Tracker sizi uyarır.