Thinking Machines publiceert de gewichten van Inkling 2 Small op Hugging Face onder Apache 2.0

Thinking Machines zegt dat de gewichten van Inkling 2 Small nu onder een Apache 2.0-licentie van Hugging Face kunnen worden gedownload. Dit is de release die het bedrijf had beloofd toen het model op 5 november als propriëtair werd gelanceerd.

Songlin Yang, die kort daarna een bericht plaatste, noemt veranderingen in de architectuur sinds de vorige generatie: attention residuals met een q/k/v-splitsing, gated attention, een dynamische attention sink, dynamische shortconv en value norm. Dit is de eigen beschrijving van de poster.