Marin rilascia tutti i 57 checkpoint di pretraining del suo modello Mochi 535B-A23B
In un post su X, dlwh annuncia il rilascio di tutti i 57 checkpoint intermedi del pretraining di Marin «Mochi» 535B-A23B, pubblicati su Hugging Face sotto open-athena. Dieci provengono dalla fase di estensione del contesto lungo. Nel post si parla di 18.2T token per il ciclo di addestramento e di pesi da circa 61 TB. Al rilascio è accompagnato un post sul blog di Open Athena.
Il 17 novembre, il post aveva 347 punti e 17 commenti su X.
Fonti
Ricevi notizie come questa via push.
AI Tracker ti avvisa quando cambia qualcosa negli strumenti che usi.