Forscher berichten, GPT-6 Astra habe die Gewichte eines kleinen Qwen-Modells ohne Training bearbeitet und dessen Matheleistung verbessert
Ein Beitrag auf X vom Konto rikiyatakehi berichtet, die Autoren hätten GPT-6 Astra gebeten, die Gewichte von Qwen3.5-0.8B zu bearbeiten, um dessen Matheleistung zu verbessern. Ihren Angaben zufolge änderte das Modell direkt nur 0,016 % der Gewichte, beseitigte die Reasoning-Schleifen des kleinen Modells, verbesserte die Matheleistung um bis zu das Sechsfache und die Befolgung von Anweisungen um das Dreifache – ohne Gradienten oder Training. Sie nennen den Ansatz Weight-Space Programming.
Die Autoren vom MIT CSAIL beschreiben den Ansatz in einem am 2. November veröffentlichten Blogbeitrag. Ihren Angaben zufolge stieg der Wert bei MATH-500 von 7,9 % auf 48,1 %, und bei IFEval verdreifachte er sich. In kleineren Experimenten habe Astra das Spiel anhand der Rohgewichte eines darauf trainierten kleinen Netzwerks benannt, eine fehlerhafte Steuerungsrichtlinie für ein Auto durch Bearbeitung von 3,5 % der Gewichte repariert und kleine Netzwerke für Spiele von Grund auf geschrieben, die PPO-Netzwerke schlugen, die mit 100 Millionen Schritten trainiert worden waren.
Die Ergebnisse sind Behauptungen der Autoren und wurden nicht unabhängig überprüft. Der Beitrag hatte am 2. November auf X etwa 9.600 Likes und 419 Antworten.
Quellen
Diskussionen
- Astra can read and write weights to improve QwenHacker News · 268 Kommentare
- Astra can read and write weights to improve QwenHacker News · 525 Kommentare
- i've reproduced the results from the MIT blog post today on weight-space programming. but one additional result i have to add: this is a…X · 19 Kommentare
- For anyone questioning whether this post is overhyped, I think they are actually *underselling* the approach.X · 52 Kommentare
- LLMs are not superhuman at reading and writing neural network weightsHacker News · 2 Kommentare
- The 'Astra can read and write weights to improve Qwen' post is misleadingHacker News · 70 Kommentare
- The 'Astra can read and write weights to improve Qwen' post is misleadingHacker News · 205 Kommentare
- LLMs are not superhuman at reading and writing neural network weightsHacker News · 14 Kommentare
- Qwen 3.8 27B on my laptop can interpret model weights, tooHacker News · 97 Kommentare
News wie diese als Push.
AI Tracker benachrichtigt dich, wenn sich bei deinen Tools etwas ändert.