Thinking Machines licht toe hoe het Inkling 2 Small trainde met een native 4-bit forward pass

Thinking Machines publiceerde op zijn Connectionism-blog een bericht over hoe het Inkling 2 Small trainde met een native 4-bit forward pass, vanaf de eerste stap van de pretraining tot en met de laatste rollout voor reinforcement learning. Het beschrijft het als een afweging: trainen met minder bits gaat sneller, maar kwantisatiefouten kunnen het leerproces verstoren.

De bevindingen in het bericht zijn Thinking Machines' eigen verslag. De gewichten van het model werden de dag ervoor gepubliceerd, in versies voor NVFP4 en MXFP8.