Baidu rende open source ERNIE-5.5-Flash-Base, un modello MoE sparso da 280B di parametri

Baidu ha pubblicato ERNIE-5.5-Flash-Base su Hugging Face. La scheda del modello descrive ERNIE 5.5 Flash come un modello linguistico efficiente basato su una miscela sparsa di esperti, con 280B di parametri totali e 14B attivi, preaddestrato da zero su 33.5T di token con un contesto di addestramento di 128K. Il fine-tuning e l’inferenza supportano un contesto fino a 1M di token.

Questo è il checkpoint di base ottenuto al termine del preaddestramento: non ha ricevuto né addestramento intermedio né post-addestramento, quindi non è un modello di chat ottimizzato per seguire istruzioni. Un post in lingua cinese che condivideva il rilascio lo definiva paragonabile per dimensioni a DeepSeek V4 Flash; il paragone è dell’autore del post, non di Baidu.