Marin 發布其 Mochi 535B-A23B 模型預訓練的全部 57 個檢查點
dlwh 在 X 貼文中宣布,Marin「Mochi」535B-A23B 預訓練過程中的全部 57 個中間檢查點已發布於 Hugging Face 的 open-athena 名下,其中 10 個來自長上下文擴展階段。貼文指出,此次訓練使用了 18.2T 個 tokens,權重約為 61 TB。Open Athena 也發布了一篇網誌文章,介紹此次釋出。
截至 11 月 17 日,該貼文在 X 上獲得 347 個點數和 17 則留言。
來源
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。