Thinking Machines, Inkling 2 Small’ın ağırlıklarını Apache 2.0 lisansı altında Hugging Face’te yayımladı

Thinking Machines, Inkling 2 Small’ın ağırlıklarının artık Apache 2.0 lisansı altında Hugging Face’ten indirilebildiğini söylüyor. Şirket, modeli 5 Kasım’da tescilli olarak piyasaya sürerken bu yayını vadetmişti.

Kısa süre sonra paylaşım yapan Songlin Yang, önceki nesle kıyasla mimarideki değişiklikleri sıralıyor: q/k/v ayrımlı attention residuals, gated attention, dinamik attention sink, dinamik shortconv ve value norm. Bunlar paylaşımı yapan kişinin kendi açıklamalarıdır.