Thinking Machines publica los pesos de Inkling 2 Small en Hugging Face bajo la licencia Apache 2.0

Thinking Machines afirma que los pesos de Inkling 2 Small ya se pueden descargar de Hugging Face bajo una licencia Apache 2.0, tal como había prometido al lanzar el modelo el 5 de noviembre como propietario.

Songlin Yang, quien publicó poco después, enumera cambios en la arquitectura respecto de la generación anterior: residuos de atención con división q/k/v, atención con compuerta, un sumidero de atención dinámico, shortconv dinámica y normalización de valores. Esta es la descripción del propio autor de la publicación.