Thinking Machines veröffentlicht die Gewichte von Inkling 2 Small auf Hugging Face unter Apache 2.0

Thinking Machines zufolge können die Gewichte von Inkling 2 Small ab sofort unter einer Apache-2.0-Lizenz von Hugging Face heruntergeladen werden. Damit setzt das Unternehmen seine Zusage um, die es bei der Veröffentlichung des Modells am 5. November als proprietäres Modell gegeben hatte.

Songlin Yang, der kurz darauf einen Beitrag veröffentlichte, nennt Änderungen an der Architektur gegenüber der Vorgängergeneration: Attention-Residuals mit einer Aufteilung in q/k/v, Gated Attention, einen dynamischen Attention Sink, Dynamic Shortconv und Value Norm. Dies ist die eigene Beschreibung des Verfassers.