Thinking Machines publie les poids d’Inkling 2 Small sur Hugging Face sous licence Apache 2.0

Thinking Machines indique que les poids d’Inkling 2 Small peuvent désormais être téléchargés depuis Hugging Face sous licence Apache 2.0, comme l’entreprise l’avait promis lors du lancement du modèle, le 5 novembre, alors propriétaire.

Songlin Yang, qui a publié un message peu après, énumère les changements apportés à l’architecture depuis la génération précédente : des résidus d’attention avec une séparation q/k/v, une attention à portes, un puits d’attention dynamique, une convolution courte dynamique et une normalisation des valeurs. Il s’agit de la description de l’auteur du message.