Thinking Machines публикует веса Inkling 2 Small на Hugging Face по лицензии Apache 2.0

Thinking Machines сообщает, что веса Inkling 2 Small теперь можно скачать с Hugging Face по лицензии Apache 2.0. Компания обещала выпустить их, когда 5 ноября представила модель как проприетарную.

Вскоре после этого Songlin Yang перечислил изменения в архитектуре по сравнению с предыдущим поколением: остаточные связи внимания с разделением q/k/v, gated attention, динамический attention sink, динамический shortconv и нормализация value. Это описание самого автора поста.