Cognition brengt SWE-2 Flash uit, een sneller en goedkoper codeermodel op basis van Inkling-Small van Thinking Machines

Cognition heeft SWE-2 Flash geïntroduceerd, een codeermodel op basis van Inkling-Small van Thinking Machines (276B parameters in totaal, waarvan 12B actief). Volgens Cognition kost het 5x minder en werkt het 3x sneller dan SWE-2. Ook zou het bij toonaangevende evaluaties beter presteren dan alle Amerikaanse open-weightmodellen, waaronder modellen die drie keer zo groot zijn. Dit zijn beweringen van Cognition zelf.

Cognition zegt voor het eerst vóór reinforcement learning een fase van mid-training te hebben toegevoegd, met enkele biljoenen tokens uit code, wetenschappelijke artikelen en blogs, gevolgd door training met grootschalige RL. Het bedrijf zegt dat de meeste verbeteringen ten opzichte van SWE-2 voortkomen uit RL-taken van hogere kwaliteit en met meer variatie. De instructies, omgevingen en verifiers daarvoor zijn door de onderzoekers gecontroleerd.

SWE-2 Flash is tot eind november gratis voor Pro-, Max- en Teams-gebruikers in Devin Desktop en Devin CLI. Cognition zegt te werken aan een programma om de weights veilig met partners en onderzoekers te delen, met een afweging tussen transparantie en cyberrisico's. Details volgen volgens het bedrijf in de komende weken.