Thinking Machines 以 Apache 2.0 授權在 Hugging Face 發布 Inkling 2 Small 權重

Thinking Machines 表示，現在可以從 Hugging Face 下載 Inkling 2 Small 的權重，採用 Apache 2.0 授權。這是該公司在 11 月 5 日以專有模型形式推出模型時承諾的發布內容。

稍後發文的 Songlin Yang 列出相較前一代的架構變更：採用 q/k/v 分拆的 attention residuals、gated attention、dynamic attention sink、dynamic shortconv 和 value norm。這些是發文者本人的描述。