Thinking Machines, Inkling 2 Small을 네이티브 4비트 순전파로 학습한 방법 공개

Thinking Machines는 Connectionism 블로그 게시물에서 사전 학습의 첫 단계부터 강화 학습의 마지막 롤아웃까지, 네이티브 4비트 순전파로 Inkling 2 Small을 학습한 방법을 소개했습니다. 이 게시물은 문제를 상충 관계로 설명합니다. 비트를 적게 사용하면 학습 속도는 빨라지지만, 양자화 오차가 학습을 방해할 수 있습니다.

게시물의 조사 결과는 Thinking Machines 측의 설명입니다. 모델 가중치는 하루 전 NVFP4 및 MXFP8 버전으로 공개됐습니다.