Cognition veröffentlicht SWE-2 Flash, ein schnelleres und günstigeres Coding-Modell auf Basis von Inkling-Small von Thinking Machines

Cognition hat SWE-2 Flash vorgestellt, ein Coding-Modell auf Basis von Inkling-Small von Thinking Machines (insgesamt 276B und 12B aktive Parameter). Laut Cognition kostet es fünfmal weniger und läuft dreimal schneller als SWE-2. Bei führenden Evaluierungen übertreffe es alle amerikanischen Open-Weight-Modelle, auch solche, die dreimal so groß sind. Das sind eigene Angaben von Cognition.

Cognition zufolge wurde erstmals vor dem Reinforcement Learning eine Mid-Training-Phase eingeführt, bei der das Modell mit mehreren Billionen Tokens aus Code, wissenschaftlichen Artikeln und Blogs trainiert wurde. Anschließend folgte ein groß angelegtes RL-Training. Die meisten Verbesserungen gegenüber SWE-2 seien auf hochwertigere und vielfältigere RL-Aufgaben zurückzuführen. Deren Anweisungen, Umgebungen und Verifikatoren hätten die Forschenden geprüft.

SWE-2 Flash ist für Pro-, Max- und Teams-Nutzer in Devin Desktop und Devin CLI bis Ende November kostenlos. Cognition arbeitet nach eigenen Angaben an einem Programm, mit dem die Gewichte sicher mit Partnern und Forschenden geteilt werden können, um Transparenz und Cybersicherheitsrisiken abzuwägen. Weitere Einzelheiten sollen in den kommenden Wochen folgen.