Cognition выпускает SWE-2 Flash — более быструю и дешёвую модель для программирования на базе Inkling-Small от Thinking Machines

Cognition представила SWE-2 Flash — модель для программирования на базе Inkling-Small от Thinking Machines (276 млрд параметров всего, из них 12 млрд активных). По словам Cognition, она в 5 раз дешевле и работает в 3 раза быстрее, чем SWE-2, а на ведущих тестах превосходит все американские модели с открытыми весами, включая модели втрое крупнее. Это заявления самой Cognition.

Cognition утверждает, что впервые добавила этап промежуточного обучения перед обучением с подкреплением: модель обучали на нескольких триллионах токенов кода, научных статей и блогов, а затем — с помощью масштабного обучения с подкреплением. По словам компании, большая часть улучшений относительно SWE-2 достигнута благодаря более качественным и разнообразным задачам для обучения с подкреплением; исследователи Cognition проверили инструкции, среды и средства оценки этих задач.

SWE-2 Flash бесплатна до конца ноября для пользователей планов Pro, Max и Teams в Devin Desktop и Devin CLI. Cognition сообщает, что разрабатывает программу безопасного предоставления весов партнёрам и исследователям, стремясь соблюсти баланс между прозрачностью и киберрисками; подробности обещает сообщить в ближайшие недели.