Marin publie les 57 checkpoints de préentraînement de son modèle Mochi 535B-A23B
Dans une publication sur X, dlwh annonce la publication des 57 checkpoints intermédiaires du préentraînement de Marin « Mochi » 535B-A23B, disponibles sur Hugging Face sous le nom open-athena. Dix d’entre eux proviennent de la phase d’extension du contexte long. La publication indique que l’entraînement a porté sur 18,2 T de tokens et que les poids pèsent environ 61 To. Un article de blog d’Open Athena accompagne cette publication.
La publication avait recueilli 347 points et 17 commentaires sur X au 17 novembre.
Sources
Recevez ce genre d'actus en notification.
AI Tracker vous prévient dès que quelque chose change pour les outils que vous utilisez.