Baidu publica como código abierto ERNIE-5.5-Flash-Base, un modelo MoE disperso de 280B parámetros

Baidu ha publicado ERNIE-5.5-Flash-Base en Hugging Face. La ficha del modelo describe ERNIE 5.5 Flash como un modelo de lenguaje eficiente de mezcla dispersa de expertos, con 280B de parámetros totales y 14B activos, preentrenado desde cero con 33,5T de tokens y un contexto de entrenamiento de 128K. El ajuste fino y la inferencia admiten un contexto de hasta 1M de tokens.

Este es el checkpoint base al final del preentrenamiento: no ha pasado por entrenamiento intermedio ni posentrenamiento, por lo que no es un modelo de chat ajustado para seguir instrucciones. Una publicación en chino que compartió el lanzamiento lo calificó como comparable en tamaño a DeepSeek V4 Flash; esa comparación es del autor de la publicación, no de Baidu.