Artificial Analysis: bijna 1 op de 4 serverless-eindpunten scoort lager dan de referentie op de Endpoint Accuracy Index v1.1

Artificial Analysis heeft versie 1.1 van zijn Endpoint Accuracy Index uitgebracht. Die geeft elk serverless-eindpunt voor een model met open gewichten een score als percentage van de eigen, zelf gehoste referentie-implementatie met de officiële gewichten. De score weegt toolaanroepen (BFCL-500), wetenschappelijk redeneren (HLE-250) en het ophalen van informatie uit lange contexten (AA-LCR-25) even zwaar. Van de meer dan 100 geteste eindpunten scoort volgens het bedrijf bijna 1 op de 4 lager dan de referentie.

Dit is er volgens Artificial Analysis veranderd in v1.1:

• AA-LCR-25 is vervangen door AA-LCR v1.1, waarin fouten in de antwoordsleutel zijn gecorrigeerd en de beoordeling voortaan gebeurt met GPT-5.6 Luna (medium). Elke vraag wordt nu 25 keer uitgevoerd in plaats van 10, waardoor het gemiddelde 95%-betrouwbaarheidsinterval daalt van ±4,7 naar ±2,6 punten.
• De dekking is uitgebreid naar zes modellen: GLM-5.3 Flash (max) en Meta's Muse Spark Open (xhigh) zijn toegevoegd aan DeepSeek V4.1 Flash 1017 (max), GLM-5.3 (max), Kimi K3 (max) en gpt-oss-120b (high).

De bevindingen:

• GLM-5.3 Flash: 16 van de 22 eindpunten liggen statistisch gezien op één lijn met de referentie en één scoort erboven (104,2). Twee eindpunten met een limiet van ongeveer 32K outputtokens breken ongeveer de helft van de HLE-250-antwoorden af en scoren 22% en 29%, tegenover 55% voor de referentie. Twee andere genereren ongeveer 30% minder redeneertokens en scoren 48%.
• Muse Spark Open: drie van de vijf eindpunten komen overeen met de referentie (99,5 tot 99,9), waaronder één dat FP4-gewichten serveert. De andere twee verliezen alleen nauwkeurigheid bij toolaanroepen: ze geven argumenten die de tool als tekst definieert, zoals boekings-ID's, terug als getallen (50% en 51% op BFCL-500, tegenover 59%).
• GLM-5.3: 26 eindpunten, met scores van 67,2 tot 99,3; 16 liggen op één lijn met de referentie en 10 scoren lager. Artificial Analysis zegt dat de grootste verschillen worden veroorzaakt door limieten op outputtokens en redeneerlussen, niet door kwantisering: vijf van de zes FP4-eindpunten liggen op één lijn met de FP8-referentie.
• DeepSeek V4.1 Flash 1017: alle 22 eindpunten liggen op één lijn met de referentie (97,5 tot 101,4). Met een spreiding van 3,9 punten is dit het meest consistente model in de index.