Thinking Machines ने Inkling 2 Small के वेट्स Hugging Face पर Apache 2.0 के तहत प्रकाशित किए

Thinking Machines का कहना है कि Inkling 2 Small के वेट्स अब Hugging Face से Apache 2.0 लाइसेंस के तहत डाउनलोड किए जा सकते हैं। यह वही रिलीज़ है जिसका वादा कंपनी ने 5 नवंबर को मॉडल को प्रोप्राइटरी रूप में लॉन्च करते समय किया था।

बाद में पोस्ट करने वाले Songlin Yang ने पिछली पीढ़ी के बाद आर्किटेक्चर में हुए बदलावों की सूची दी है: q/k/v स्प्लिट के साथ attention residuals, gated attention, dynamic attention sink, dynamic shortconv और value norm। ये पोस्ट करने वाले का अपना विवरण है।