Baidu disponibiliza ERNIE-5.5-Flash-Base, um MoE esparso com 280B de parâmetros

A Baidu publicou o ERNIE-5.5-Flash-Base no Hugging Face. O cartão do modelo descreve o ERNIE 5.5 Flash como um modelo de linguagem eficiente de mistura esparsa de especialistas, com 280B de parâmetros totais e 14B ativos, pré-treinado do zero com 33,5T tokens e contexto de treinamento de 128K. O ajuste fino e a inferência oferecem suporte a contextos de até 1M tokens.

Este é o checkpoint base do fim do pré-treinamento: ele não passou por treinamento intermediário nem pós-treinamento e, portanto, não é um modelo de chat ajustado para seguir instruções. Uma publicação em chinês que divulgou o lançamento o descreveu como comparável, em escala, ao DeepSeek V4 Flash; essa comparação é do autor da publicação, não da Baidu.