百度开源 ERNIE-5.5-Flash-Base:一款拥有 280B 参数的稀疏 MoE 模型
百度已在 Hugging Face 上发布 ERNIE-5.5-Flash-Base。模型卡将 ERNIE 5.5 Flash 描述为一款高效的稀疏混合专家语言模型,总参数量为 280B,激活参数量为 14B;该模型从零开始预训练,使用了 33.5T 个 token,训练上下文长度为 128K。微调和推理支持最长 1M token 的上下文。
这是预训练结束时的基础检查点:它未经中期训练或后训练,因此不是经过指令微调的聊天模型。一篇分享此次发布的中文帖子称,其规模档次与 DeepSeek V4 Flash 相当;这是发帖者的说法,并非百度的说法。
来源
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。