Baidu veröffentlicht ERNIE-5.5-Flash-Base als Open Source: ein sparsames MoE-Modell mit 280B Parametern

Baidu hat ERNIE-5.5-Flash-Base auf Hugging Face veröffentlicht. Laut Model Card ist ERNIE 5.5 Flash ein effizientes Sprachmodell mit sparsamer Mixture-of-Experts-Architektur und insgesamt 280B sowie 14B aktiven Parametern. Es wurde von Grund auf mit 33,5T Tokens und einem Trainingskontext von 128K vortrainiert. Beim Fine-Tuning und bei der Inferenz werden bis zu 1M Tokens Kontext unterstützt.

Dies ist der Basis-Checkpoint vom Ende des Pretrainings: Er wurde weder während des Trainings weitertrainiert noch nachtrainiert und ist daher kein auf Anweisungen abgestimmtes Chatmodell. Ein chinesischsprachiger Beitrag zur Veröffentlichung bezeichnete die Größenklasse als vergleichbar mit DeepSeek V4 Flash; dieser Vergleich stammt vom Verfasser des Beitrags, nicht von Baidu.