Baidu、2,800億パラメータのスパースMoE「ERNIE-5.5-Flash-Base」をオープンソース化

BaiduはHugging FaceでERNIE-5.5-Flash-Baseを公開しました。モデルカードによると、ERNIE 5.5 Flashは、総パラメータ数2,800億、アクティブパラメータ数140億の効率的なスパース混合専門家（MoE）言語モデルです。33.5兆トークンを使い、128Kの学習コンテキストでゼロから事前学習されました。ファインチューニングと推論では、最大100万トークンのコンテキストに対応します。

これは事前学習の終了時点でのベースチェックポイントです。中間学習も事後学習も行われていないため、指示調整済みのチャットモデルではありません。リリースを紹介した中国語の投稿では、DeepSeek V4 Flashと同じ規模クラスに相当すると評していました。この比較は投稿者によるもので、Baiduの見解ではありません。