Thinking Machines, Inkling 2 Small의 가중치를 Apache 2.0 라이선스로 Hugging Face에 공개

Thinking Machines는 Inkling 2 Small의 가중치를 이제 Apache 2.0 라이선스로 Hugging Face에서 다운로드할 수 있다고 밝혔습니다. 이는 11월 5일 모델을 독점 제품으로 출시할 때 약속했던 공개입니다.

얼마 뒤 게시물을 올린 Songlin Yang은 이전 세대 이후 아키텍처의 변경 사항으로 q/k/v 분할을 적용한 어텐션 잔차, 게이트 어텐션, 동적 어텐션 싱크, 동적 shortconv, value norm을 꼽았습니다. 이는 게시자가 직접 설명한 내용입니다.