Cognition udostępnia SWE-2 Flash — szybszy i tańszy model do programowania oparty na Inkling-Small od Thinking Machines

Cognition zaprezentowało SWE-2 Flash, model do programowania oparty na Inkling-Small od Thinking Machines (łącznie 276B parametrów, w tym 12B aktywnych). Według Cognition kosztuje on 5 razy mniej i działa 3 razy szybciej niż SWE-2, a w czołowych testach ewaluacyjnych przewyższa wszystkie amerykańskie modele z otwartymi wagami, w tym modele trzykrotnie większe. To twierdzenia samej firmy Cognition.

Cognition twierdzi, że po raz pierwszy dodało etap treningu pośredniego przed uczeniem przez wzmacnianie, wykorzystując kilka bilionów tokenów z kodu, artykułów naukowych i blogów, a następnie przeprowadziło trening z użyciem uczenia przez wzmacnianie na dużą skalę. Firma podaje, że większość postępów względem SWE-2 wynikała z wyższej jakości i większej różnorodności zadań RL, których instrukcje, środowiska i weryfikatory sprawdzili jej badacze.

SWE-2 Flash będzie bezpłatny do końca listopada dla użytkowników planów Pro, Max i Teams w Devin Desktop i Devin CLI. Cognition twierdzi, że opracowuje program bezpiecznego udostępniania wag partnerom i badaczom, tak aby zachować równowagę między przejrzystością a ryzykiem cybernetycznym. Szczegóły ma podać w najbliższych tygodniach.