Cognition lança o SWE-2 Flash, um modelo de programação mais rápido e barato baseado no Inkling-Small, da Thinking Machines

A Cognition apresentou o SWE-2 Flash, um modelo de programação baseado no Inkling-Small, da Thinking Machines (276B de parâmetros no total e 12B ativos). A Cognition afirma que ele custa 5 vezes menos e é 3 vezes mais rápido que o SWE-2 e que, nas principais avaliações, supera todos os modelos americanos de pesos abertos, inclusive os três vezes maiores. Essas são afirmações da própria Cognition.

A Cognition diz que, pela primeira vez, acrescentou uma etapa de treinamento intermediário antes do aprendizado por reforço, usando vários trilhões de tokens de código, artigos científicos e blogs, e depois treinou o modelo com RL em larga escala. Segundo a empresa, a maior parte dos ganhos em relação ao SWE-2 veio de tarefas de RL mais diversificadas e de maior qualidade, cujas instruções, ambientes e verificadores foram auditados pelos pesquisadores.

O SWE-2 Flash será gratuito até o fim de novembro para usuários dos planos Pro, Max e Teams no Devin Desktop e no Devin CLI. A Cognition diz que está desenvolvendo um programa para compartilhar os pesos com parceiros e pesquisadores de forma segura, equilibrando transparência e riscos cibernéticos, e que dará mais detalhes nas próximas semanas.