Artificial Analysis: quasi 1 endpoint serverless su 4 ottiene un punteggio inferiore al riferimento nell’Endpoint Accuracy Index v1.1

Artificial Analysis ha pubblicato la versione 1.1 del suo Endpoint Accuracy Index, che valuta ogni endpoint serverless di un modello open-weight come percentuale del punteggio ottenuto dalla propria implementazione di riferimento self-hosted con i pesi ufficiali. Il punteggio attribuisce lo stesso peso al tool calling (BFCL-500), al ragionamento scientifico (HLE-250) e al richiamo di contesti lunghi (AA-LCR-25). Dei più di 100 endpoint sottoposti a benchmark, quasi 1 su 4 ottiene, secondo l’azienda, un punteggio inferiore al riferimento.

Ecco cosa è cambiato nella v1.1, secondo Artificial Analysis:

• AA-LCR-25 passa ad AA-LCR v1.1, che corregge gli errori nelle risposte di riferimento e affida la valutazione a GPT-5.6 Luna (medium). Ogni domanda viene ora eseguita 25 volte anziché 10, riducendo l’intervallo di confidenza medio al 95% da ±4,7 a ±2,6 punti.
• La copertura si amplia a sei modelli: GLM-5.3 Flash (max) e Muse Spark Open di Meta (xhigh) si aggiungono a DeepSeek V4.1 Flash 1017 (max), GLM-5.3 (max), Kimi K3 (max) e gpt-oss-120b (high).

I risultati:

• GLM-5.3 Flash: 16 dei 22 endpoint sono statisticamente in linea con il riferimento e uno lo supera (104,2). Due endpoint con un limite di circa 32K token in output interrompono circa metà delle risposte a HLE-250 e ottengono il 22% e il 29%, contro il 55% del riferimento. Altri due generano circa il 30% in meno di token di ragionamento e ottengono il 48%.
• Muse Spark Open: tre endpoint su cinque sono in linea con il riferimento (da 99,5 a 99,9), incluso uno che utilizza pesi FP4. Gli altri due perdono precisione solo nel tool calling: restituiscono come numeri argomenti che lo strumento definisce come testo, ad esempio gli ID di prenotazione (50% e 51% su BFCL-500, contro il 59%).
• GLM-5.3: 26 endpoint, con punteggi da 67,2 a 99,3; 16 sono in linea con il riferimento e 10 sotto. Artificial Analysis afferma che le differenze maggiori sono dovute ai limiti sui token in output e ai cicli di ragionamento, e che la quantizzazione non ne è la causa: cinque dei sei endpoint FP4 sono in linea con il riferimento FP8.
• DeepSeek V4.1 Flash 1017: tutti i 22 endpoint sono in linea (da 97,5 a 101,4), con un intervallo di 3,9 punti che lo rende il modello più coerente dell’indice.