Thinking Machines publica os pesos do Inkling 2 Small no Hugging Face sob a licença Apache 2.0

A Thinking Machines afirma que os pesos do Inkling 2 Small já podem ser baixados do Hugging Face sob uma licença Apache 2.0, lançamento que havia prometido quando apresentou o modelo como proprietário, em 5 de novembro.

Songlin Yang, que publicou pouco depois, lista mudanças na arquitetura desde a geração anterior: resíduos de atenção com divisão q/k/v, atenção com gating, um sumidouro dinâmico de atenção, shortconv dinâmico e normalização de valores. Essa é a descrição do próprio autor da publicação.