Thinking Machines menjelaskan cara melatih Inkling 2 Small dengan forward pass 4-bit native

Thinking Machines menerbitkan tulisan di blog Connectionism tentang cara mereka melatih Inkling 2 Small dengan forward pass 4-bit native, dari langkah pertama prapelatihan hingga rollout pembelajaran penguatan terakhir. Tulisan itu menggambarkan masalahnya sebagai pertukaran: pelatihan dengan bit yang lebih sedikit lebih cepat, tetapi kesalahan kuantisasi dapat mengganggu proses pembelajaran.

Temuan dalam tulisan tersebut merupakan penuturan Thinking Machines sendiri. Bobot model itu telah diterbitkan sehari sebelumnya dalam versi NVFP4 dan MXFP8.