Thinking Machines explica cómo entrenó Inkling 2 Small con una pasada hacia delante nativa de 4 bits

Thinking Machines publicó una entrada en su blog Connectionism sobre cómo entrenó Inkling 2 Small con una pasada hacia delante nativa de 4 bits, desde el primer paso del preentrenamiento hasta la última ejecución de aprendizaje por refuerzo. Presenta el problema como una disyuntiva: entrenar con menos bits es más rápido, pero el error de cuantización puede interferir en el aprendizaje.

Los hallazgos de la entrada son el relato de Thinking Machines. Los pesos del modelo se publicaron el día anterior, en versiones NVFP4 y MXFP8.