Các nhà nghiên cứu cho biết GPT-6 Astra đã chỉnh sửa trọng số của một mô hình Qwen nhỏ để cải thiện khả năng toán học mà không cần huấn luyện

Một bài đăng trên X từ tài khoản rikiyatakehi cho biết các tác giả đã yêu cầu GPT-6 Astra chỉnh sửa trọng số của Qwen3.5-0.8B để cải thiện khả năng toán học. Họ nói mô hình chỉ trực tiếp thay đổi 0,016% trọng số, khắc phục các vòng lặp suy luận của mô hình nhỏ, cải thiện khả năng toán học lên đến 6 lần và khả năng làm theo hướng dẫn lên 3 lần, mà không dùng gradient hay huấn luyện. Họ gọi cách tiếp cận này là Weight-Space Programming.

Các tác giả thuộc MIT CSAIL trình bày phương pháp này trong một bài đăng blog công bố ngày 2 tháng 11. Họ báo cáo điểm MATH-500 tăng từ 7,9% lên 48,1% và IFEval tăng gấp ba. Trong các thử nghiệm nhỏ hơn, họ cho biết Astra đã xác định tên trò chơi mà một mạng nhỏ được huấn luyện để chơi chỉ từ trọng số thô của nó, sửa một chính sách điều khiển ô tô hoạt động kém bằng cách chỉnh sửa 3,5% trọng số, và tự viết các mạng nhỏ chơi game từ đầu, vượt qua các mạng PPO được huấn luyện trong 100 triệu bước.

Đây là những tuyên bố của chính các tác giả và chưa được kiểm chứng độc lập. Bài đăng có khoảng 9.600 lượt thích và 419 câu trả lời trên X vào ngày 2 tháng 11.