연구진 주장: GPT-6 Astra가 학습 없이 소형 Qwen 모델의 가중치를 편집해 수학 성능을 개선

rikiyatakehi 계정의 X 게시물에 따르면, 작성자들은 GPT-6 Astra에 Qwen3.5-0.8B의 가중치를 편집해 수학 성능을 개선해 달라고 요청했습니다. 이들은 모델이 가중치의 0.016%만 직접 변경해 소형 모델의 추론 루프를 바로잡고, 수학 성능을 최대 6배, 지시 수행 능력을 3배 높였으며, 그래디언트나 학습은 사용하지 않았다고 말합니다. 이 접근법을 Weight-Space Programming이라고 부릅니다.

MIT CSAIL 소속인 저자들은 11월 2일 블로그 게시물에서 이 방법을 소개했습니다. 이들은 MATH-500 점수가 7.9%에서 48.1%로 올랐고 IFEval 성능은 3배가 됐다고 보고했습니다. 소규모 실험에서는 Astra가 원시 가중치만 보고 작은 네트워크가 학습한 게임의 이름을 알아맞혔고, 가중치의 3.5%를 편집해 작동하지 않던 자동차 제어 정책을 고쳤으며, 처음부터 작성한 소형 게임 플레이 네트워크가 1억 단계 학습한 PPO 네트워크를 이겼다고도 밝혔습니다.

이 결과는 저자들의 주장으로, 독립적으로 검증되지 않았습니다. 해당 게시물은 11월 2일 X에서 좋아요 약 9,600개와 답글 419개를 받았습니다.