Thinking Machines рассказала, как обучила Inkling 2 Small, используя нативный прямой проход в 4-битном формате

Thinking Machines опубликовала в блоге Connectionism пост о том, как обучила Inkling 2 Small, используя нативный прямой проход в 4-битном формате — от первого шага предварительного обучения до финального цикла обучения с подкреплением. Компания описывает задачу как поиск компромисса: обучение с меньшим числом битов проходит быстрее, но ошибка квантования может мешать обучению.

Выводы в посте представлены самой Thinking Machines. Веса модели были опубликованы накануне в версиях NVFP4 и MXFP8.