Baidu ने ERNIE-5.5-Flash-Base, 280B-पैरामीटर वाला sparse MoE, ओपन-सोर्स किया

Baidu ने Hugging Face पर ERNIE-5.5-Flash-Base प्रकाशित किया है। इसके मॉडल कार्ड में ERNIE 5.5 Flash को एक कुशल sparse mixture-of-experts भाषा मॉडल बताया गया है, जिसमें कुल 280B और सक्रिय 14B पैरामीटर हैं। इसे 33.5T टोकन पर शुरू से प्रीट्रेन किया गया है और प्रशिक्षण के दौरान 128K टोकन का संदर्भ इस्तेमाल किया गया। फ़ाइन-ट्यूनिंग और इन्फ़रेंस में 1M टोकन तक का संदर्भ समर्थित है।

यह प्रीट्रेनिंग के अंत का बेस चेकपॉइंट है: इस पर न तो मिड-ट्रेनिंग हुई है, न पोस्ट-ट्रेनिंग, इसलिए यह निर्देशों के अनुसार फ़ाइन-ट्यून किया गया चैट मॉडल नहीं है। रिलीज़ साझा करने वाली एक चीनी-भाषा की पोस्ट ने इसे आकार की श्रेणी में DeepSeek V4 Flash के तुलनीय बताया; यह तुलना पोस्ट करने वाले की है, Baidu की नहीं।