Thinking Machines erläutert, wie Inkling 2 Small mit einem nativen 4-Bit-Forward-Pass trainiert wurde

Thinking Machines hat im Connectionism-Blog einen Beitrag darüber veröffentlicht, wie Inkling 2 Small mit einem nativen 4-Bit-Forward-Pass trainiert wurde – vom ersten Schritt des Pretrainings bis zum letzten Reinforcement-Learning-Rollout. Das Unternehmen beschreibt das Problem als Abwägung: Mit weniger Bits zu trainieren ist schneller, aber Quantisierungsfehler können das Lernen beeinträchtigen.

Die Erkenntnisse im Beitrag sind die eigene Darstellung von Thinking Machines. Die Modellgewichte wurden am Vortag in den Versionen NVFP4 und MXFP8 veröffentlicht.