Thinking Machines 详述如何通过原生 4 位前向传播训练 Inkling 2 Small

Thinking Machines 在其 Connectionism 博客上发布了一篇文章，介绍如何通过原生 4 位前向传播训练 Inkling 2 Small，涵盖从预训练的第一步到最终的强化学习 rollout。文章将这一问题描述为一种权衡：使用更少位数进行训练速度更快，但量化误差可能会干扰学习。

这些发现是 Thinking Machines 的自述。该模型的权重已于前一天发布，提供 NVFP4 和 MXFP8 两种版本。