Thinking Machines publikuje wagi Inkling 2 Small na Hugging Face na licencji Apache 2.0

Thinking Machines informuje, że wagi Inkling 2 Small można już pobrać z Hugging Face na licencji Apache 2.0 — zgodnie z zapowiedzią z dnia premiery modelu, 5 listopada, kiedy udostępniono go jako model własnościowy.

Songlin Yang, który opublikował wpis wkrótce potem, wymienia zmiany w architekturze względem poprzedniej generacji: reszty uwagi z podziałem na q/k/v, uwagę bramkowaną, dynamiczny sink uwagi, dynamiczny shortconv i normę wartości. To własny opis autora wpisu.