Baidu, 280B 파라미터 희소 MoE 모델 ERNIE-5.5-Flash-Base 오픈소스로 공개

Baidu가 Hugging Face에 ERNIE-5.5-Flash-Base를 공개했습니다. 모델 카드에 따르면 ERNIE 5.5 Flash는 총 280B, 활성 파라미터 14B 규모의 효율적인 희소 전문가 혼합 언어 모델로, 33.5T 토큰으로 처음부터 사전 학습되었으며 학습 컨텍스트 길이는 128K입니다. 미세 조정과 추론에서는 최대 1M 토큰의 컨텍스트를 지원합니다.

이는 사전 학습이 끝난 시점의 기본 체크포인트입니다. 중간 학습이나 사후 학습을 거치지 않았으므로, 지시 튜닝된 채팅 모델은 아닙니다. 출시 소식을 전한 중국어 게시물은 규모 면에서 DeepSeek V4 Flash와 견줄 만하다고 평가했지만, 이는 게시자의 비교이며 Baidu의 입장은 아닙니다.