Badacze twierdzą, że GPT-6 Astra zmienił wagi małego modelu Qwen, by poprawić jego wyniki z matematyki — bez treningu
W poście na X konto rikiyatakehi twierdzi, że jego autorzy poprosili GPT-6 Astra o zmianę wag Qwen3.5-0.8B, by poprawić jego wyniki z matematyki. Według nich model bezpośrednio zmienił zaledwie 0,016% wag, eliminując pętle rozumowania małego modelu, poprawiając wyniki z matematyki nawet 6-krotnie, a wykonywanie poleceń 3-krotnie — bez gradientów i treningu. Autorzy nazywają to podejście Weight-Space Programming.
Autorzy z MIT CSAIL opisali je we wpisie na blogu opublikowanym 2 listopada. Podają, że wynik w teście MATH-500 wzrósł z 7,9% do 48,1%, a wynik w IFEval potroił się. W mniejszych eksperymentach Astra miała rozpoznać z surowych wag grę, na której trenowano małą sieć, naprawić nieskuteczną politykę sterowania samochodem, zmieniając 3,5% jej wag, oraz od podstaw napisać małe sieci grające w gry, które pokonały sieci PPO trenowane przez 100 milionów kroków.
Wyniki są twierdzeniami samych autorów i nie zostały niezależnie zweryfikowane. 2 listopada post miał na X około 9600 polubień i 419 odpowiedzi.
Źródła
Dyskusje
- Astra can read and write weights to improve QwenHacker News · 268 komentarzy
- Astra can read and write weights to improve QwenHacker News · 525 komentarzy
- i've reproduced the results from the MIT blog post today on weight-space programming. but one additional result i have to add: this is a…X · 19 komentarzy
- For anyone questioning whether this post is overhyped, I think they are actually *underselling* the approach.X · 52 komentarze
- LLMs are not superhuman at reading and writing neural network weightsHacker News · 2 komentarze
- The 'Astra can read and write weights to improve Qwen' post is misleadingHacker News · 70 komentarzy
- The 'Astra can read and write weights to improve Qwen' post is misleadingHacker News · 205 komentarzy
- LLMs are not superhuman at reading and writing neural network weightsHacker News · 14 komentarzy
- Qwen 3.8 27B on my laptop can interpret model weights, tooHacker News · 97 komentarzy
Otrzymuj takie wiadomości jako push.
AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.