Marin 发布其 Mochi 535B-A23B 模型预训练的全部 57 个检查点
dlwh 在 X 上发帖宣布,Marin “Mochi” 535B-A23B 预训练过程中的全部 57 个中间检查点现已发布在 Hugging Face 的 open-athena 页面上。其中 10 个来自长上下文扩展阶段。帖子称,此次训练使用了 18.2T 个 token,模型权重约为 61 TB。Open Athena 还发布了一篇博客文章介绍此次发布。
截至 11 月 17 日,该帖在 X 上获得 347 点赞和 17 条评论。
来源
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。