Thinking Machines détaille l’entraînement d’Inkling 2 Small avec une passe avant native en 4 bits

Thinking Machines a publié un article sur son blog Connectionism expliquant comment l’entreprise a entraîné Inkling 2 Small avec une passe avant native en 4 bits, de la première étape du préentraînement jusqu’au dernier rollout d’apprentissage par renforcement. L’article présente le problème comme un compromis : l’entraînement avec moins de bits est plus rapide, mais l’erreur de quantification peut perturber l’apprentissage.

Les conclusions présentées dans l’article sont celles de Thinking Machines. Les poids du modèle avaient été publiés la veille, en versions NVFP4 et MXFP8.