Artificial Analysis: quase 1 em cada 4 endpoints serverless fica abaixo da referência no Endpoint Accuracy Index v1.1

A Artificial Analysis lançou a v1.1 do Endpoint Accuracy Index, que pontua cada endpoint serverless de um modelo de pesos abertos como uma porcentagem de sua própria implantação de referência auto-hospedada dos pesos oficiais. A pontuação atribui o mesmo peso a chamadas de ferramentas (BFCL-500), raciocínio científico (HLE-250) e recuperação de contexto longo (AA-LCR-25). Entre os mais de 100 endpoints avaliados, a empresa afirma que quase 1 em cada 4 fica abaixo da referência.

O que mudou na v1.1, segundo a Artificial Analysis:

• AA-LCR-25 passa para AA-LCR v1.1, que corrige erros no gabarito e transfere a avaliação para GPT-5.6 Luna (medium). Agora, cada pergunta é executada 25 vezes, em vez de 10, reduzindo o intervalo de confiança médio de 95% de ±4,7 para ±2,6 pontos.
• A cobertura aumenta para seis modelos: GLM-5.3 Flash (max) e Muse Spark Open (xhigh), da Meta, juntam-se a DeepSeek V4.1 Flash 1017 (max), GLM-5.3 (max), Kimi K3 (max) e gpt-oss-120b (high).

Resultados:

• GLM-5.3 Flash: 16 dos 22 endpoints estão estatisticamente alinhados à referência e um pontua acima dela (104,2). Dois endpoints limitados a cerca de 32 mil tokens de saída interrompem aproximadamente metade das respostas do HLE-250 e pontuam 22% e 29%, contra 55% da referência. Outros dois geram cerca de 30% menos tokens de raciocínio e pontuam 48%.
• Muse Spark Open: três dos cinco endpoints correspondem à referência (99,5 a 99,9), incluindo um que serve pesos FP4. Os outros dois perdem precisão apenas em chamadas de ferramentas: retornam como números argumentos que a ferramenta define como texto, como IDs de reserva (50% e 51% no BFCL-500, contra 59%).
• GLM-5.3: 26 endpoints, com pontuações de 67,2 a 99,3; 16 estão alinhados à referência e 10 ficam abaixo. A Artificial Analysis afirma que as maiores diferenças são causadas por limites de tokens de saída e loops de raciocínio, e que a quantização não é a causa: cinco dos seis endpoints FP4 estão alinhados à referência FP8.
• DeepSeek V4.1 Flash 1017: todos os 22 endpoints estão alinhados (97,5 a 101,4), numa faixa de 3,9 pontos, o que faz dele o modelo mais consistente do índice.