Artificial Analysis beschrijft AA-Omniscience v1.1, met een kleinere dataset en een nieuwe openbare set

Artificial Analysis heeft de details van AA-Omniscience v1.1 gepubliceerd, zijn benchmark voor kennis en hallucinaties, die het op 27 oktober heeft bijgewerkt als onderdeel van versie 5 van zijn Intelligence Index. De Net Score van de benchmark beloont goede antwoorden, bestraft foute antwoorden en behandelt afzien van antwoorden als neutraal.

Wat er volgens Artificial Analysis is veranderd:

• De privédataset is verkleind van 6.000 naar 3.000 vragen: openbare en verzadigde vragen zijn verwijderd, fouten en onduidelijkheden zijn gecorrigeerd en er zijn nieuwe vragen toegevoegd. De vragen beslaan nog steeds 6 domeinen en 42 onderwerpen.
• Op Hugging Face staat een nieuwe openbare set van 300 vragen, afgestemd op de moeilijkheidsgraad van de privéset. Volgens Artificial Analysis correleren de scores op de openbare en de privédataset voor de Net Score met 0,99 (Pearson en Spearman).

De eigen metingen:

• Gemini 4 Carbon (high) staat bovenaan met een Net Score van 54, gevolgd door Claude Opus 5.5 (48) en Claude Fable 5.1 (46). Muse Spark Open (xhigh) is het best presterende model met open weights, 28 punten achter Gemini 4 Carbon.
• De rangorde is grotendeels gelijk gebleven ten opzichte van v1 (Spearman-correlatie van 0,98), maar de scores liggen gemiddeld ongeveer 1,9 punt lager. MiniMax M3.1 Flash daalt 22 punten (van 16 naar -6) en MiMo V2.6 Pro 13 punten (van 8 naar -5).
• Claude Fable 5.1 heeft de hoogste nauwkeurigheid met 68%, vóór Claude Opus 5.5 met 66%. Gemini 4 Argon (high) heeft met 4% het laagste hallucinatiepercentage; het mediane hallucinatiepercentage daalt met 1,4 punt.