Thinking Machines 說明如何以原生 4-bit 前向傳遞訓練 Inkling 2 Small

Thinking Machines 在其 Connectionism 部落格發文，說明如何以原生 4-bit 前向傳遞訓練 Inkling 2 Small，涵蓋從預訓練的第一步到最後一次強化學習 rollout。文章將問題描述為一種取捨：使用較少位元訓練速度較快，但量化誤差可能干擾學習。

文中的發現是 Thinking Machines 自行陳述的結果。該模型的權重已於前一天以 NVFP4 和 MXFP8 版本發布。