Artificial Analysis: Fast 1 von 4 Serverless-Endpunkten liegt im Endpoint Accuracy Index v1.1 unter dem Referenzwert

Artificial Analysis hat v1.1 seines Endpoint Accuracy Index veröffentlicht. Dieser bewertet jeden Serverless-Endpunkt eines Open-Weights-Modells als Prozentsatz seines eigenen, selbst gehosteten Referenzdeployments mit den offiziellen Gewichten. Der Score gewichtet Tool-Aufrufe (BFCL-500), wissenschaftliches Denken (HLE-250) und den Abruf aus langen Kontexten (AA-LCR-25) gleich. Von den mehr als 100 getesteten Endpunkten liegen laut Artificial Analysis fast 1 von 4 unter dem Referenzwert.

Laut Artificial Analysis hat sich in v1.1 Folgendes geändert:

• AA-LCR-25 wird zu AA-LCR v1.1. Dabei werden Fehler im Antwortschlüssel korrigiert und die Bewertung auf GPT-5.6 Luna (medium) umgestellt. Jede Frage wird nun 25-mal statt 10-mal ausgeführt. Dadurch sinkt das durchschnittliche 95%-Konfidenzintervall von ±4,7 auf ±2,6 Punkte.
• Die Abdeckung wächst auf sechs Modelle: GLM-5.3 Flash (max) und Meta's Muse Spark Open (xhigh) kommen zu DeepSeek V4.1 Flash 1017 (max), GLM-5.3 (max), Kimi K3 (max) und gpt-oss-120b (high) hinzu.

Die Ergebnisse:

• GLM-5.3 Flash: 16 von 22 Endpunkten liegen statistisch im Rahmen des Referenzwerts, einer erzielt einen höheren Wert (104,2). Bei zwei Endpunkten mit einer Ausgabebegrenzung von etwa 32K Tokens werden ungefähr die Hälfte der HLE-250-Antworten abgeschnitten. Sie erreichen 22 % und 29 %, verglichen mit 55 % beim Referenzwert. Zwei weitere erzeugen etwa 30 % weniger Reasoning-Tokens und erreichen 48 %.
• Muse Spark Open: Drei von fünf Endpunkten entsprechen dem Referenzwert (99,5 bis 99,9), darunter einer, der FP4-Gewichte verwendet. Bei den anderen beiden sinkt die Genauigkeit nur bei Tool-Aufrufen: Sie geben Argumente, die das Tool als Text definiert – etwa Buchungs-IDs –, als Zahlen zurück. Auf BFCL-500 erzielen sie 50 % und 51 %, verglichen mit 59 %.
• GLM-5.3: 26 Endpunkte mit Werten von 67,2 bis 99,3; 16 liegen im Rahmen des Referenzwerts und 10 darunter. Laut Artificial Analysis sind Ausgabetokenbegrenzungen und Reasoning-Schleifen für die größten Abweichungen verantwortlich, nicht aber die Quantisierung: Fünf von sechs FP4-Endpunkten entsprechen dem FP8-Referenzwert.
• DeepSeek V4.1 Flash 1017: Alle 22 Endpunkte liegen im Rahmen des Referenzwerts (97,5 bis 101,4). Mit einer Spannweite von 3,9 Punkten ist es das konsistenteste Modell im Index.