Artificial Analysis mette il tempo per attività al centro dei suoi benchmark sulle prestazioni delle API

Artificial Analysis ha annunciato una nuova versione dei suoi benchmark sulle prestazioni delle API, che coprono circa 1.000 endpoint serverless testati più volte al giorno per velocità, latenza e caching. Il tempo per attività, cioè quanto impiega un modello a completare un’attività, sostituisce la velocità di generazione in streaming come metrica principale. Artificial Analysis calcola i token di output di un modello per attività dell’Intelligence Index e li divide per la sua velocità di generazione end-to-end.

Modifiche indicate:

• Velocità di generazione end-to-end viene ora misurata dall’invio della richiesta fino all’ultimo token, includendo quindi l’attesa prima del primo token (prefill e ragionamento nascosto). I token di output sono ricavati dai conteggi riportati dalle API di ciascun provider, anziché dal tokenizer o200k_base. In una risposta, l’azienda aggiunge che ora le richieste non riuscite vengono conteggiate con velocità pari a 0.
• I carichi di lavoro agentici fanno parte di ogni misurazione: prompt brevi, lunghi quanto un documento e con contesto esteso, oltre a sessioni multi-turno di programmazione e attività intellettuali. I valori principali sono medie calcolate sugli ultimi 5 giorni.
• Viene effettuato il benchmark dell’impegno predefinito delle API oltre che di quello massimo, usando l’impostazione predefinita di ciascun laboratorio, poiché i nomi dei livelli di impegno non sono comparabili tra laboratori.

Risultati di Artificial Analysis:

• I modelli OpenAI costituiscono la maggior parte della frontiera di Pareto tra Intelligence e tempo per attività. Al livello massimo di impegno, GPT-6 Astra opera a 51 token/s ma completa un’attività in circa 17 minuti, contro circa 26 per Claude Opus 5.5 (111 token/s) e circa 29 per Gemini 4 Carbon (71 token/s), perché usa circa 50k token di output per attività, rispetto a circa 120k–170k.
• L’impegno predefinito riduce il tempo per attività di circa 3–5 volte e il costo per attività di circa 2–4 volte per GPT-6 Astra, GPT-6.1 Sol e Claude Opus 5.5, tutti impostati per default su un impegno medio, al costo di circa 5–11 punti dell’Intelligence Index. Claude Opus 5.5 passa da circa 26 minuti e $10.04 per attività al livello massimo a circa 6,8 minuti e $2.45 al livello medio.
• Gli endpoint ottimizzati solo per la velocità di decodifica subiscono il calo maggiore della velocità di generazione end-to-end; secondo l’azienda, gli endpoint GLM-5.3 con lo streaming più rapido impiegano dai 18 ai 26 secondi per generare il primo token.

Queste sono misurazioni effettuate da Artificial Analysis.