Artificial Analysis ने AA-Omniscience v1.1 की जानकारी दी: छोटा डेटासेट और नया सार्वजनिक सेट

Artificial Analysis ने AA-Omniscience v1.1 की जानकारी प्रकाशित की। यह उसका ज्ञान और hallucination बेंचमार्क है, जिसे उसने 27 अक्टूबर को अपने Intelligence Index के v5 के हिस्से के रूप में अपडेट किया। बेंचमार्क का Net Score सही जवाबों को अंक देता है, गलत जवाबों पर अंक काटता है और जवाब देने से विरत रहने को तटस्थ मानता है।

Artificial Analysis के अनुसार, क्या बदला:

• निजी डेटासेट में सवालों की संख्या 6,000 से घटाकर 3,000 की गई है: सार्वजनिक और संतृप्त सवाल हटा दिए गए, त्रुटियों और अस्पष्टताओं को ठीक किया गया और नए सवाल जोड़े गए। सवाल अब भी 6 डोमेन और 42 विषयों में फैले हैं।
• Hugging Face पर 300 सवालों वाला एक नया सार्वजनिक सेट उपलब्ध है, जिसे निजी सेट के कठिनाई स्तर के अनुरूप बनाया गया है। कंपनी का कहना है कि Net Score के लिए सार्वजनिक और निजी स्कोर का सहसंबंध 0.99 (Pearson और Spearman) है।

Artificial Analysis के अपने माप:

• Gemini 4 Carbon (high) 54 के Net Score के साथ आगे है, इसके बाद Claude Opus 5.5 (48) और Claude Fable 5.1 (46) हैं। ओपन-वेट्स मॉडल में Muse Spark Open (xhigh) सबसे आगे है, जो Gemini 4 Carbon से 28 अंक पीछे है।
• v1 के मुकाबले रैंक क्रम में बड़े पैमाने पर बदलाव नहीं हुआ (Spearman सहसंबंध 0.98), लेकिन स्कोर औसतन लगभग 1.9 अंक कम हैं। MiniMax M3.1 Flash का स्कोर 22 अंक (16 से -6) और MiMo V2.6 Pro का 13 अंक (8 से -5) गिरा।
• Claude Fable 5.1 की सटीकता सबसे अधिक 68% है, जबकि Claude Opus 5.5 की 66% है। Gemini 4 Argon (high) की hallucination दर सबसे कम, 4% है; hallucination दर का माध्य 1.4 अंक घटा है।