Thinking Machines 在 Hugging Face 上以 Apache 2.0 许可证发布 Inkling 2 Small 的权重

Thinking Machines 表示，Inkling 2 Small 的权重现已可从 Hugging Face 下载，采用 Apache 2.0 许可证。此前，该公司在 11 月 5 日以专有模型形式发布该模型时，曾承诺会发布权重。

随后发帖的 Songlin Yang 列出了相较于上一代的架构变化：采用 q/k/v 拆分的注意力残差、门控注意力、动态注意力汇聚、动态短卷积和 value norm。这是发帖者本人的描述。