Thinking Machines opisuje, jak trenowało Inkling 2 Small z natywnym przebiegiem w przód w 4 bitach

Thinking Machines opublikowało wpis na blogu Connectionism opisujący, jak trenowało Inkling 2 Small z natywnym przebiegiem w przód w 4 bitach — od pierwszego kroku pretreningu po końcową iterację uczenia przez wzmacnianie. Wpis przedstawia problem jako kompromis: trening z mniejszą liczbą bitów jest szybszy, ale błąd kwantyzacji może zakłócać uczenie.

Przedstawione wnioski pochodzą z relacji Thinking Machines. Wagi modelu opublikowano dzień wcześniej w wersjach NVFP4 i MXFP8.