शोधकर्ताओं का कहना है कि GPT-6 Astra ने बिना ट्रेनिंग के गणित में सुधार के लिए एक छोटे Qwen मॉडल के वज़न संपादित किए
X पर rikiyatakehi अकाउंट की एक पोस्ट के मुताबिक, लेखकों ने GPT-6 Astra से Qwen3.5-0.8B के वज़न संपादित करने को कहा, ताकि गणित में उसका प्रदर्शन बेहतर हो। उनका कहना है कि मॉडल ने सीधे तौर पर वज़न के सिर्फ़ 0.016% हिस्से में बदलाव किया, छोटे मॉडल के रीजनिंग लूप ठीक किए, गणित में प्रदर्शन 6 गुना तक और निर्देशों का पालन 3 गुना बेहतर किया—वह भी बिना ग्रेडिएंट या ट्रेनिंग के। उन्होंने इस तरीके को Weight-Space Programming नाम दिया है।
MIT CSAIL के लेखकों ने 2 नवंबर को प्रकाशित एक ब्लॉग पोस्ट में इसका वर्णन किया। उनका दावा है कि MATH-500 का स्कोर 7.9% से बढ़कर 48.1% हो गया और IFEval का प्रदर्शन तीन गुना हुआ। छोटे प्रयोगों में, उनके मुताबिक, Astra ने कच्चे वज़नों से उस गेम का नाम बताया जिस पर एक छोटा नेटवर्क प्रशिक्षित किया गया था, वज़नों के 3.5% हिस्से में बदलाव करके कार-नियंत्रण की विफल नीति को ठीक किया, और शुरू से छोटे गेम-खेलने वाले नेटवर्क लिखे, जिन्होंने 100 million steps तक प्रशिक्षित PPO नेटवर्क को पछाड़ दिया।
ये नतीजे लेखकों के अपने दावे हैं और इनकी स्वतंत्र रूप से पुष्टि नहीं हुई है। 2 नवंबर को X पर पोस्ट को लगभग 9,600 लाइक और 419 जवाब मिले थे।
स्रोत
चर्चाएँ
- Astra can read and write weights to improve QwenHacker News · 268 टिप्पणियाँ
- Astra can read and write weights to improve QwenHacker News · 525 टिप्पणियाँ
- i've reproduced the results from the MIT blog post today on weight-space programming. but one additional result i have to add: this is a…X · 19 टिप्पणियाँ
- For anyone questioning whether this post is overhyped, I think they are actually *underselling* the approach.X · 52 टिप्पणियाँ
- LLMs are not superhuman at reading and writing neural network weightsHacker News · 2 टिप्पणियाँ
- The 'Astra can read and write weights to improve Qwen' post is misleadingHacker News · 70 टिप्पणियाँ
- The 'Astra can read and write weights to improve Qwen' post is misleadingHacker News · 205 टिप्पणियाँ
- LLMs are not superhuman at reading and writing neural network weightsHacker News · 14 टिप्पणियाँ
- Qwen 3.8 27B on my laptop can interpret model weights, tooHacker News · 97 टिप्पणियाँ
ऐसी ख़बरें push में पाएँ।
आपके टूल्स में कुछ बदलते ही AI Tracker आपको अलर्ट करता है।