Thinking Machines spiega come ha addestrato Inkling 2 Small con un passaggio forward nativo a 4 bit

Thinking Machines ha pubblicato un post sul blog Connectionism in cui spiega come ha addestrato Inkling 2 Small con un passaggio forward nativo a 4 bit, dalla prima fase del pretraining fino all’ultimo rollout di reinforcement learning. Presenta il problema come un compromesso: addestrare con meno bit è più veloce, ma l’errore di quantizzazione può interferire con l’apprendimento.

I risultati descritti nel post sono il resoconto di Thinking Machines. I pesi del modello erano stati pubblicati il giorno prima nelle versioni NVFP4 e MXFP8.