Artificial Analysis veröffentlicht Details zu AA-Omniscience v1.1 – mit kleinerem Datensatz und neuem öffentlichen Set

Artificial Analysis hat Details zu AA-Omniscience v1.1 veröffentlicht, seinem Benchmark für Wissen und Halluzinationen, den das Unternehmen am 27. Oktober im Rahmen von Version 5 seines Intelligence Index aktualisiert hat. Der Net Score des Benchmarks belohnt richtige Antworten, bestraft falsche und wertet Enthaltungen neutral.

Was sich laut Artificial Analysis geändert hat:

• Der private Datensatz schrumpft von 6.000 auf 3.000 Fragen: Öffentliche und gesättigte Fragen werden entfernt, Fehler und Mehrdeutigkeiten behoben und neue Fragen hinzugefügt. Die Fragen decken weiterhin 6 Domänen und 42 Themen ab.
• Ein neues öffentliches Set mit 300 Fragen ist auf Hugging Face verfügbar und auf den Schwierigkeitsgrad des privaten Sets abgestimmt. Laut Artificial Analysis korrelieren die öffentlichen und privaten Net Scores mit 0,99 (Pearson und Spearman).

Eigene Messungen des Unternehmens:

• Gemini 4 Carbon (high) liegt mit einem Net Score von 54 vorn, gefolgt von Claude Opus 5.5 (48) und Claude Fable 5.1 (46). Muse Spark Open (xhigh) ist das führende Modell mit offenen Gewichten und liegt 28 Punkte hinter Gemini 4 Carbon.
• Die Rangfolge bleibt gegenüber v1 weitgehend erhalten (Spearman-Korrelation von 0,98), die Scores liegen im Durchschnitt jedoch etwa 1,9 Punkte niedriger. MiniMax M3.1 Flash fällt um 22 Punkte (von 16 auf -6), MiMo V2.6 Pro um 13 Punkte (von 8 auf -5).
• Claude Fable 5.1 erzielt mit 68 % die höchste Genauigkeit, vor Claude Opus 5.5 mit 66 %. Gemini 4 Argon (high) hat mit 4 % die niedrigste Halluzinationsrate; der Median der Halluzinationsraten sinkt um 1,4 Punkte.