Artificial Analysis: casi 1 de cada 4 endpoints serverless obtiene una puntuación inferior a la referencia en su Endpoint Accuracy Index v1.1

Artificial Analysis lanzó la versión v1.1 de su Endpoint Accuracy Index, que puntúa cada endpoint serverless de un modelo de pesos abiertos como porcentaje de su propia implementación de referencia autoalojada con los pesos oficiales. La puntuación pondera por igual el uso de herramientas (BFCL-500), el razonamiento científico (HLE-250) y la recuperación de contexto largo (AA-LCR-25). De los más de 100 endpoints que evaluó, afirma que casi 1 de cada 4 obtiene una puntuación inferior a la referencia.

Qué cambió en v1.1, según Artificial Analysis:

• AA-LCR-25 pasa a AA-LCR v1.1, que corrige errores en las respuestas correctas y cambia la evaluación a GPT-5.6 Luna (medium). Ahora cada pregunta se ejecuta 25 veces en lugar de 10, lo que reduce el intervalo de confianza promedio del 95% de ±4,7 a ±2,6 puntos.
• La cobertura crece hasta seis modelos: GLM-5.3 Flash (max) y Muse Spark Open de Meta (xhigh) se suman a DeepSeek V4.1 Flash 1017 (max), GLM-5.3 (max), Kimi K3 (max) y gpt-oss-120b (high).

Sus hallazgos:

• GLM-5.3 Flash: 16 de 22 endpoints están estadísticamente a la par de la referencia y uno obtiene una puntuación superior (104,2). Dos endpoints limitados a unos 32K tokens de salida interrumpen aproximadamente la mitad de las respuestas de HLE-250 y obtienen puntuaciones del 22% y el 29%, frente al 55% de la referencia. Otros dos generan alrededor de un 30% menos de tokens de razonamiento y obtienen una puntuación del 48%.
• Muse Spark Open: tres de cinco endpoints igualan la referencia (99,5 a 99,9), incluido uno que sirve pesos FP4. Los otros dos solo pierden precisión en el uso de herramientas: devuelven como números argumentos que la herramienta define como texto, como los ID de reserva (50% y 51% en BFCL-500, frente al 59%).
• GLM-5.3: 26 endpoints, con puntuaciones de 67,2 a 99,3; 16 están a la par de la referencia y 10 por debajo. Artificial Analysis afirma que las mayores diferencias se deben a los límites de tokens de salida y a los bucles de razonamiento, y que la cuantización no es la causa: cinco de los seis endpoints FP4 están a la par de la referencia FP8.
• DeepSeek V4.1 Flash 1017: los 22 endpoints están a la par de la referencia (97,5 a 101,4), un rango de 3,9 puntos que lo convierte en el modelo más consistente del índice.