Baidu maakt ERNIE-5.5-Flash-Base met 280B parameters en een sparse MoE open source

Baidu heeft ERNIE-5.5-Flash-Base gepubliceerd op Hugging Face. Volgens de modelkaart is ERNIE 5.5 Flash een efficiënt taalmodel met een sparse mixture-of-experts-architectuur, met in totaal 280B parameters waarvan er 14B actief zijn. Het is vanaf nul voorgetraind op 33,5T tokens met een trainingscontext van 128K. Fine-tuning en inferentie ondersteunen een context van maximaal 1M tokens.

Dit is het basismodel aan het einde van de pretraining: het heeft geen mid-training of post-training ondergaan en is dus geen chatmodel dat op instructies is afgestemd. Een Chineestalig bericht over de release noemde het qua grootte vergelijkbaar met DeepSeek V4 Flash; die vergelijking is van de poster, niet van Baidu.