I ricercatori affermano che GPT-6 Astra ha modificato i pesi di un piccolo modello Qwen per migliorarne le capacità matematiche, senza addestrarlo
Un post su X dell’account rikiyatakehi afferma che gli autori hanno chiesto a GPT-6 Astra di modificare i pesi di Qwen3.5-0.8B per migliorarne le capacità matematiche. Dicono che il modello abbia modificato direttamente solo lo 0,016% dei pesi, correggendo i loop di ragionamento del modello più piccolo, migliorando le prestazioni in matematica fino a 6 volte e il rispetto delle istruzioni di 3 volte, senza gradienti né addestramento. Gli autori chiamano questo approccio Weight-Space Programming.
Gli autori, del MIT CSAIL, lo descrivono in un post sul blog pubblicato il 2 novembre. Riferiscono che il punteggio su MATH-500 è passato dal 7,9% al 48,1% e che quello su IFEval è triplicato. In esperimenti più piccoli, dicono che Astra abbia identificato il gioco su cui era stata addestrata una piccola rete partendo dai suoi pesi grezzi, corretto una policy di controllo di un’auto che non funzionava modificando il 3,5% dei suoi pesi e scritto da zero piccole reti capaci di giocare, che hanno battuto reti PPO addestrate per 100 milioni di passi.
I risultati sono affermazioni degli autori e non sono stati verificati in modo indipendente. Il 2 novembre, il post aveva circa 9.600 like e 419 risposte su X.
Fonti
Discussioni
- Astra can read and write weights to improve QwenHacker News · 268 commenti
- Astra can read and write weights to improve QwenHacker News · 525 commenti
- i've reproduced the results from the MIT blog post today on weight-space programming. but one additional result i have to add: this is a…X · 19 commenti
- For anyone questioning whether this post is overhyped, I think they are actually *underselling* the approach.X · 52 commenti
- LLMs are not superhuman at reading and writing neural network weightsHacker News · 2 commenti
- The 'Astra can read and write weights to improve Qwen' post is misleadingHacker News · 70 commenti
- The 'Astra can read and write weights to improve Qwen' post is misleadingHacker News · 205 commenti
- LLMs are not superhuman at reading and writing neural network weightsHacker News · 14 commenti
- Qwen 3.8 27B on my laptop can interpret model weights, tooHacker News · 97 commenti
Ricevi notizie come questa via push.
AI Tracker ti avvisa quando cambia qualcosa negli strumenti che usi.