Baidu mã nguồn mở ERNIE-5.5-Flash-Base, một mô hình MoE thưa có 280B tham số

Baidu đã phát hành ERNIE-5.5-Flash-Base trên Hugging Face. Thẻ mô hình mô tả ERNIE 5.5 Flash là mô hình ngôn ngữ MoE thưa hiệu quả, với tổng cộng 280B tham số và 14B tham số kích hoạt; mô hình được tiền huấn luyện từ đầu trên 33.5T token với ngữ cảnh huấn luyện 128K. Fine-tuning và suy luận hỗ trợ ngữ cảnh lên đến 1M token.

Đây là checkpoint nền tảng ở cuối giai đoạn tiền huấn luyện: mô hình chưa trải qua huấn luyện giữa kỳ hay hậu huấn luyện, nên không phải là mô hình chat được tinh chỉnh theo chỉ dẫn. Một bài đăng bằng tiếng Trung chia sẻ thông tin phát hành cho rằng mô hình có quy mô tương đương DeepSeek V4 Flash; đây là nhận định của người đăng, không phải của Baidu.