Baidu открыла исходный код ERNIE-5.5-Flash-Base — разреженной MoE-модели с 280 млрд параметров

Baidu опубликовала ERNIE-5.5-Flash-Base на Hugging Face. В карточке модели ERNIE 5.5 Flash описана как эффективная языковая модель на основе разреженной архитектуры «смесь экспертов» с 280 млрд параметров всего и 14 млрд активных параметров. Модель обучена с нуля на 33,5 трлн токенов с контекстом обучения в 128K токенов. Дообучение и инференс поддерживают контекст до 1 млн токенов.

Это базовый чекпойнт, полученный по завершении предобучения: он не проходил ни промежуточного, ни последующего обучения, поэтому не является чат-моделью, настроенной на выполнение инструкций. В китайскоязычном посте о релизе модель сравнили по классу размера с DeepSeek V4 Flash; это сравнение принадлежит автору поста, а не Baidu.