Artificial Analysis presenta i dettagli di AA-Omniscience v1.1, con un dataset più piccolo e un nuovo set pubblico

Artificial Analysis ha pubblicato i dettagli di AA-Omniscience v1.1, il suo benchmark di conoscenza e allucinazioni, aggiornato il 27 ottobre nell'ambito della v5 del suo Intelligence Index. Il Net Score del benchmark premia le risposte corrette, penalizza quelle sbagliate e considera neutra l'astensione.

Ecco cosa è cambiato, secondo Artificial Analysis:

• Il dataset privato passa da 6.000 a 3.000 domande: sono state rimosse le domande pubbliche e sature, corretti errori e ambiguità e aggiunte nuove domande. Le domande coprono ancora 6 domini e 42 argomenti.
• Su Hugging Face è disponibile un nuovo set pubblico di 300 domande, calibrato sulla difficoltà del set privato. Artificial Analysis afferma che, per il Net Score, i punteggi pubblici e privati hanno una correlazione di 0,99 (Pearson e Spearman).

Le sue misurazioni:

• Gemini 4 Carbon (high) è in testa con un Net Score di 54, seguito da Claude Opus 5.5 (48) e Claude Fable 5.1 (46). Muse Spark Open (xhigh) è il modello open-weights meglio classificato, 28 punti dietro a Gemini 4 Carbon.
• L'ordine in classifica è in gran parte invariato rispetto alla v1 (correlazione di Spearman di 0,98), ma i punteggi sono in media inferiori di circa 1,9 punti. MiniMax M3.1 Flash perde 22 punti (da 16 a -6) e MiMo V2.6 Pro 13 punti (da 8 a -5).
• Claude Fable 5.1 ha la precisione più alta, pari al 68%, davanti a Claude Opus 5.5 con il 66%. Gemini 4 Argon (high) ha il tasso di allucinazioni più basso, il 4%; il tasso mediano di allucinazioni scende di 1,4 punti.