Thinking Machines、ネイティブ4ビットのフォワードパスでInkling 2 Smallをどのように学習させたかを詳述

Thinking MachinesはConnectionismブログで、事前学習の最初のステップから強化学習の最終ロールアウトまで、ネイティブ4ビットのフォワードパスでInkling 2 Smallをどのように学習させたかを紹介する記事を公開した。同社はこの課題をトレードオフとして捉えている。ビット数を減らすと学習は高速になる一方、量子化誤差が学習を妨げる可能性がある。

記事で示された知見は、Thinking Machinesによる説明だ。モデルの重みはその前日に、NVFP4版とMXFP8版が公開されていた。