Thinking Machines chia sẻ chi tiết cách huấn luyện Inkling 2 Small bằng lượt truyền xuôi 4-bit gốc

Thinking Machines đăng một bài trên blog Connectionism về cách huấn luyện Inkling 2 Small bằng lượt truyền xuôi 4-bit gốc, từ bước đầu tiên của quá trình tiền huấn luyện cho đến lượt rollout học tăng cường cuối cùng. Bài viết mô tả vấn đề như một sự đánh đổi: huấn luyện với ít bit hơn sẽ nhanh hơn, nhưng sai số lượng tử hóa có thể cản trở quá trình học.

Những phát hiện trong bài viết là theo lời kể của chính Thinking Machines. Trọng số của mô hình đã được công bố vào ngày hôm trước, với các phiên bản NVFP4 và MXFP8.