Baidu, 280B parametreli seyrek MoE modeli ERNIE-5.5-Flash-Base’i açık kaynak olarak yayımladı

Baidu, ERNIE-5.5-Flash-Base’i Hugging Face’te yayımladı. Model kartında ERNIE 5.5 Flash, toplam 280B ve etkin 14B parametreye sahip, verimli ve seyrek bir uzman karışımı dil modeli olarak tanımlanıyor. Model, 128K eğitim bağlamıyla 33,5T token üzerinde sıfırdan önceden eğitildi. İnce ayar ve çıkarım için 1M tokene kadar bağlam uzunluğu destekleniyor.

Bu, ön eğitimin sonunda elde edilen temel kontrol noktasıdır: ara eğitim veya sonradan eğitim uygulanmadığından, talimatlara göre ince ayarlanmış bir sohbet modeli değildir. Yayını duyuran Çince bir gönderide, modelin boyut sınıfı bakımından DeepSeek V4 Flash ile karşılaştırılabilir olduğu belirtildi; bu karşılaştırma Baidu’ya değil, gönderiyi paylaşan kişiye aittir.