Artificial Analysis: niemal 1 na 4 bezserwerowe endpointy uzyskują wynik poniżej wartości referencyjnej w Endpoint Accuracy Index v1.1

Artificial Analysis opublikowało wersję v1.1 swojego Endpoint Accuracy Index, który ocenia każdy bezserwerowy endpoint modelu z otwartymi wagami jako odsetek wyniku własnego, hostowanego samodzielnie wdrożenia oficjalnych wag. Wynik w równym stopniu uwzględnia wywoływanie narzędzi (BFCL-500), rozumowanie naukowe (HLE-250) i przypominanie informacji z długiego kontekstu (AA-LCR-25). Według Artificial Analysis wśród ponad 100 testowanych endpointów niemal 1 na 4 uzyskuje wynik poniżej wartości referencyjnej.

Co zmieniło się w wersji v1.1 według Artificial Analysis:

• AA-LCR-25 przechodzi na AA-LCR v1.1, która koryguje błędy w kluczu odpowiedzi i przenosi ocenianie na GPT-5.6 Luna (medium). Każde pytanie jest teraz uruchamiane 25 razy zamiast 10, co zmniejsza średni 95-procentowy przedział ufności z ±4.7 do ±2.6 punktu.
• Zakres testów rozszerzono do sześciu modeli: dołączają GLM-5.3 Flash (max) i Muse Spark Open (xhigh) od Meta, obok DeepSeek V4.1 Flash 1017 (max), GLM-5.3 (max), Kimi K3 (max) i gpt-oss-120b (high).

Wyniki:

• GLM-5.3 Flash: 16 z 22 endpointów mieści się statystycznie w granicach wyniku referencyjnego, a jeden uzyskuje wynik wyższy (104.2). Dwa endpointy z limitem około 32K tokenów wyjściowych ucinają mniej więcej połowę odpowiedzi w HLE-250 i uzyskują wyniki 22% i 29%, wobec 55% dla wartości referencyjnej. Dwa pozostałe generują około 30% mniej tokenów rozumowania i uzyskują wynik 48%.
• Muse Spark Open: trzy z pięciu endpointów dorównują wartości referencyjnej (99.5–99.9), w tym jeden obsługujący wagi FP4. W przypadku dwóch pozostałych spadek dokładności dotyczy wyłącznie wywoływania narzędzi: zwracają jako liczby argumenty, które narzędzie definiuje jako tekst, na przykład identyfikatory rezerwacji (50% i 51% w BFCL-500 wobec 59%).
• GLM-5.3: 26 endpointów uzyskuje wyniki od 67.2 do 99.3; 16 mieści się w granicach wyniku referencyjnego, a 10 wypada poniżej. Artificial Analysis twierdzi, że największe różnice wynikają z limitów tokenów wyjściowych i pętli rozumowania, a nie z kwantyzacji — pięć z sześciu endpointów FP4 mieści się w granicach wyniku referencyjnego FP8.
• DeepSeek V4.1 Flash 1017: wszystkie 22 endpointy mieszczą się w granicach wyniku referencyjnego (97.5–101.4). Zakres wyników wynosi zaledwie 3.9 punktu, co czyni ten model najbardziej stabilnym w indeksie.