Thinking Machines、Inkling 2 Smallの重みをApache 2.0の下でHugging Faceに公開

Thinking Machinesによると、Inkling 2 Smallの重みがApache 2.0ライセンスの下でHugging Faceからダウンロードできるようになった。これは、同社が11月5日にモデルをプロプライエタリとして発表した際に約束していた公開だ。

その直後に投稿したSonglin Yangは、前世代からのアーキテクチャの変更点として、q/k/v分割を伴うattention residuals、gated attention、dynamic attention sink、dynamic shortconv、value normを挙げている。これらは投稿者自身による説明だ。