Marin、Mochi 535B-A23Bモデルの事前学習チェックポイント57個すべてを公開
Xへの投稿で、dlwhはMarin「Mochi」535B-A23Bの事前学習から得られた中間チェックポイント57個すべてを、Hugging Faceのopen-athenaで公開したと発表した。そのうち10個は、長文コンテキスト拡張フェーズのもの。投稿によると、学習では18.2兆トークンを使用し、重みの容量は約61 TB。公開に合わせてOpen Athenaのブログ記事も公開された。
11月17日時点で、この投稿はXで347ポイント、17件のコメントを獲得した。
ソース
こんなニュースをプッシュで。
使っているツールに変化があると、AI Tracker がお知らせします。