Baidu udostępnia na otwartej licencji ERNIE-5.5-Flash-Base, rzadki model MoE z 280 mld parametrów

Baidu opublikowało ERNIE-5.5-Flash-Base w serwisie Hugging Face. Karta modelu opisuje ERNIE 5.5 Flash jako wydajny model językowy oparty na rzadkiej architekturze mieszanki ekspertów, z 280 mld parametrów łącznie i 14 mld aktywnych parametrów. Model wytrenowano od podstaw na 33,5 bln tokenów, przy kontekście treningowym o długości 128 tys. tokenów. Fine-tuning i inferencja obsługują kontekst do 1 mln tokenów.

To bazowy checkpoint z końca etapu wstępnego treningu: nie przeszedł ani treningu pośredniego, ani treningu potreningowego, więc nie jest dostrojonym instrukcyjnie modelem czatowym. Chińskojęzyczny wpis informujący o premierze określił go jako model podobnej klasy rozmiarowej co DeepSeek V4 Flash; to porównanie autora wpisu, a nie Baidu.