Cognition lance SWE-2 Flash, un modèle de programmation plus rapide et moins cher, basé sur Inkling-Small de Thinking Machines

Cognition a présenté SWE-2 Flash, un modèle de programmation basé sur Inkling-Small de Thinking Machines (276B de paramètres au total, dont 12B actifs). Selon Cognition, il coûte 5 fois moins cher et fonctionne 3 fois plus vite que SWE-2. L’entreprise affirme également qu’il surpasse, sur les principaux benchmarks, tous les modèles américains à poids ouverts, y compris ceux qui sont trois fois plus grands. Il s’agit des affirmations de Cognition.

Cognition indique avoir ajouté pour la première fois une étape de mi-entraînement avant l’apprentissage par renforcement, à partir de plusieurs milliers de milliards de tokens issus de code, d’articles scientifiques et de blogs, avant de procéder à un entraînement par apprentissage par renforcement à grande échelle. L’entreprise affirme que la majeure partie des progrès par rapport à SWE-2 vient de tâches d’apprentissage par renforcement de meilleure qualité et plus variées, dont ses chercheurs ont vérifié les consignes, les environnements et les systèmes de validation.

SWE-2 Flash est gratuit jusqu’à la fin novembre pour les utilisateurs des offres Pro, Max et Teams dans Devin Desktop et Devin CLI. Cognition indique préparer un programme de partage sécurisé des poids avec des partenaires et des chercheurs, afin de concilier transparence et risques liés à la cybersécurité, et annoncera les détails dans les prochaines semaines.