Baidu merilis open source ERNIE-5.5-Flash-Base, model MoE sparse dengan 280B parameter

Baidu telah menerbitkan ERNIE-5.5-Flash-Base di Hugging Face. Kartu modelnya menjelaskan ERNIE 5.5 Flash sebagai model bahasa mixture-of-experts sparse yang efisien, dengan total 280B parameter dan 14B parameter aktif, dilatih sebelumnya dari nol menggunakan 33.5T token dengan konteks pelatihan 128K. Fine-tuning dan inferensi mendukung konteks hingga 1M token.

Ini adalah checkpoint dasar dari akhir tahap pra-pelatihan: model ini belum menjalani pelatihan menengah maupun pascapelatihan, sehingga bukan model chat yang disetel untuk mengikuti instruksi. Sebuah unggahan berbahasa Mandarin yang membagikan peluncuran ini menyebut ukurannya sekelas dengan DeepSeek V4 Flash; perbandingan itu merupakan pendapat pengunggah, bukan Baidu.