Baidu publie en open source ERNIE-5.5-Flash-Base, un MoE clairsemé de 280B de paramètres

Baidu a publié ERNIE-5.5-Flash-Base sur Hugging Face. Sa fiche modèle présente ERNIE 5.5 Flash comme un modèle de langage efficace à mélange d’experts clairsemé, comptant 280B de paramètres au total et 14B de paramètres actifs. Il a été préentraîné à partir de zéro sur 33,5T tokens, avec un contexte d’entraînement de 128K. Le fine-tuning et l’inférence prennent en charge un contexte allant jusqu’à 1M tokens.

Il s’agit du checkpoint de base obtenu à la fin du préentraînement : il n’a bénéficié ni d’un entraînement intermédiaire ni d’un post-entraînement, et n’est donc pas un modèle de chat affiné pour suivre des instructions. Une publication en chinois annonçant sa sortie le disait comparable, par sa taille, à DeepSeek V4 Flash ; cette comparaison est celle de son auteur, pas de Baidu.