Onderzoekers zeggen dat GPT-6 Astra de gewichten van een klein Qwen-model aanpaste om het beter te maken in wiskunde, zonder te trainen

Een bericht op X van het account rikiyatakehi zegt dat de auteurs GPT-6 Astra vroegen de gewichten van Qwen3.5-0.8B aan te passen om het model beter te maken in wiskunde. Volgens hen veranderde het model direct slechts 0,016% van de gewichten. Daarmee zou het de redeneerlussen van het kleine model hebben verholpen, de prestaties op wiskunde tot 6 keer hebben verbeterd en het volgen van instructies 3 keer, zonder gradiënten of training. Ze noemen de aanpak Weight-Space Programming.

De auteurs, van MIT CSAIL, beschrijven de aanpak in een blogbericht dat op 2 november is gepubliceerd. Ze melden dat de score op MATH-500 steeg van 7,9% naar 48,1% en dat de score op IFEval verdrievoudigde. In kleinere experimenten zou Astra op basis van de ruwe gewichten hebben achterhaald voor welk spel een klein netwerk was getraind, een falend beleid voor autobesturing hebben gerepareerd door 3,5% van de gewichten aan te passen, en vanaf nul kleine netwerken hebben geschreven die games spelen en beter presteerden dan PPO-netwerken die 100 miljoen stappen waren getraind.

Dit zijn claims van de auteurs zelf en de resultaten zijn niet onafhankelijk gecontroleerd. Het bericht had op 2 november ongeveer 9.600 likes en 419 reacties op X.