Thinking Machines công bố trọng số của Inkling 2 Small trên Hugging Face theo giấy phép Apache 2.0

Thinking Machines cho biết hiện có thể tải trọng số của Inkling 2 Small từ Hugging Face theo giấy phép Apache 2.0, đúng như hãng đã hứa khi ra mắt mô hình dưới dạng độc quyền vào ngày 5 tháng 11.

Songlin Yang, người đăng bài ngay sau đó, liệt kê những thay đổi trong kiến trúc so với thế hệ trước: attention residuals với phần tách q/k/v, gated attention, dynamic attention sink, dynamic shortconv và value norm. Đây là phần mô tả của chính người đăng.