Thinking Machines menerbitkan bobot Inkling 2 Small di Hugging Face dengan lisensi Apache 2.0

Thinking Machines menyatakan bahwa bobot Inkling 2 Small kini dapat diunduh dari Hugging Face dengan lisensi Apache 2.0, sesuai perilisan yang telah dijanjikannya saat meluncurkan model tersebut sebagai produk proprietary pada 5 November.

Songlin Yang, yang mengunggah tak lama setelahnya, merinci perubahan arsitektur sejak generasi sebelumnya: residual attention dengan pemisahan q/k/v, gated attention, dynamic attention sink, dynamic shortconv, dan value norm. Ini adalah deskripsi dari pengunggah sendiri.