Thinking Machines detalha como treinou o Inkling 2 Small com uma passagem direta de 4 bits

A Thinking Machines publicou uma postagem no blog Connectionism sobre como treinou o Inkling 2 Small com uma passagem direta de 4 bits, desde a primeira etapa do pré-treinamento até a execução final de aprendizado por reforço. A postagem apresenta o problema como uma troca: treinar com menos bits é mais rápido, mas o erro de quantização pode atrapalhar o aprendizado.

As conclusões apresentadas na postagem são o relato da própria Thinking Machines. Os pesos do modelo foram publicados no dia anterior, nas versões NVFP4 e MXFP8.