Тест Paweł Huryn на 105 ошибках ставит GPT-6.2 Astra на первое место с результатом 62,7 за $28,35
Paweł Huryn сообщает, что проверил модели на двух репозиториях со 105 намеренно внесёнными ошибками и попросил их найти и исправить то, что получится. По его словам, GPT-6.2 Astra заняла первое место, а сам он считает её сильной моделью для ревью кода.
Результаты и стоимость запуска:
- GPT-6.2 Astra (max): 62,7 за $28,35
- GPT-6.2 Astra (xhigh): 60 за $23,53
- Claude Fable 5.2 (max): 58 за $139,65
- Gemini 4 Carbon (high): 57,3 за $31,32
- Claude Sonnet 5.5 (max): 51,3 за $154,03
- GPT-6 Astra (max): 45 за $33,03
Это на 17,7 балла больше, чем у GPT-6 Astra при максимальных усилиях, и на 17 баллов больше, чем при xhigh. Huryn пишет, что GPT-6.2 Sol и результаты для других уровней усилий появятся позже в треде. Это его собственные результаты одного теста; к 18 ноября у поста было 1 343 балла на X.
Источники
Получайте такие новости в push.
AI Tracker сообщит, когда что-то меняется в ваших инструментах.