Thinking Machines pubblica i pesi di Inkling 2 Small su Hugging Face con licenza Apache 2.0

Thinking Machines afferma che i pesi di Inkling 2 Small sono ora scaricabili da Hugging Face con licenza Apache 2.0, come promesso al lancio del modello, il 5 novembre, quando era stato presentato come proprietario.

Songlin Yang, che ha pubblicato un post poco dopo, elenca le modifiche all’architettura rispetto alla generazione precedente: residuali di attenzione con suddivisione q/k/v, attenzione gated, un sink di attenzione dinamico, shortconv dinamica e normalizzazione dei valori. Questa è la descrizione dell’autore del post.