Thinking Machines ने बताया कि उसने नेटिव 4-बिट फॉरवर्ड पास के साथ Inkling 2 Small को कैसे प्रशिक्षित किया

Thinking Machines ने अपने Connectionism ब्लॉग पर एक पोस्ट प्रकाशित की, जिसमें बताया गया कि उसने प्रीट्रेनिंग के पहले चरण से लेकर अंतिम रीइन्फोर्समेंट-लर्निंग रोलआउट तक, नेटिव 4-बिट फॉरवर्ड पास के साथ Inkling 2 Small को कैसे प्रशिक्षित किया। पोस्ट इस समस्या को एक समझौते के रूप में पेश करती है: कम बिट्स के साथ प्रशिक्षण तेज़ होता है, लेकिन क्वांटाइज़ेशन की त्रुटि सीखने में बाधा डाल सकती है।

पोस्ट में दिए गए निष्कर्ष Thinking Machines का अपना विवरण हैं। मॉडल के वेट एक दिन पहले NVFP4 और MXFP8 संस्करणों में प्रकाशित किए गए थे।