Thinking Machines, Inkling 2 Small'ı yerel 4 bitlik ileri yayılımla nasıl eğittiğini ayrıntılarıyla anlattı

Thinking Machines, Connectionism blogunda Inkling 2 Small'ı ön eğitimin ilk adımından son pekiştirmeli öğrenme turuna kadar yerel 4 bitlik ileri yayılımla nasıl eğittiğini anlatan bir yazı yayımladı. Yazı, sorunu bir ödünleşim olarak çerçeveliyor: Daha az bit kullanarak eğitim yapmak daha hızlı, ancak niceleme hatası öğrenmeyi olumsuz etkileyebilir.

Yazıdaki bulgular Thinking Machines'in kendi anlatımına dayanıyor. Modelin ağırlıkları bir gün önce NVFP4 ve MXFP8 sürümleriyle yayımlanmıştı.