Artificial Analysis stawia czas na zadanie (Time per Task) w centrum uwagi jako główną miarę w benchmarkach wydajności API

Artificial Analysis ogłosiło nową wersję benchmarku wydajności API, który obejmuje około 1 000 bezserwerowych endpointów testowanych kilka razy dziennie pod kątem szybkości, opóźnień i buforowania. Czas na zadanie (Time per Task), czyli czas potrzebny modelowi na wykonanie zadania, zastępuje szybkość generowania tokenów w trybie strumieniowym jako główną miarę. Artificial Analysis dzieli liczbę tokenów wyjściowych modelu dla zadania z Intelligence Index przez jego szybkość generowania wyjścia od początku do końca.

Wśród wymienionych zmian:

• Szybkość generowania wyjścia od początku do końca (End-to-End Output Speed) jest teraz mierzona od wysłania żądania do wygenerowania ostatniego tokena, więc uwzględnia czas oczekiwania na pierwszy token (prefill i ukryte rozumowanie). Liczba tokenów wyjściowych pochodzi z wartości raportowanych przez API każdego dostawcy, a nie z tokenizera o200k_base. W odpowiedzi Artificial Analysis dodaje, że nieudane żądania są teraz liczone jako szybkość 0.
• Obciążenia agentowe są uwzględniane w każdym pomiarze: krótkie i długie prompty oraz prompty o długim kontekście, a także wieloetapowe sesje programowania i pracy z wiedzą. Wartości nagłówkowe to średnia z ostatnich 5 dni.
• Domyślny poziom wysiłku API jest benchmarkowany obok najwyższego poziomu wysiłku. Wykorzystywane są domyślne ustawienia poszczególnych laboratoriów, ponieważ nazwy poziomów wysiłku nie są porównywalne między nimi.

Wnioski Artificial Analysis:

• Modele OpenAI stanowią większość modeli na granicy Pareto w zestawieniu Intelligence Index względem czasu na zadanie. Przy maksymalnym poziomie wysiłku GPT-6 Astra działa z szybkością 51 tokenów/s, ale wykonuje zadanie w około 17 minut, w porównaniu z około 26 minutami w przypadku Claude Opus 5.5 (111 tokenów/s) i około 29 minutami w przypadku Gemini 4 Carbon (71 tokenów/s), ponieważ zużywa około 50 tys. tokenów wyjściowych na zadanie, wobec mniej więcej 120–170 tys.
• Domyślny poziom wysiłku skraca czas na zadanie około 3–5 razy, a koszt zadania około 2–4 razy w przypadku GPT-6 Astra, GPT-6.1 Sol i Claude Opus 5.5, które domyślnie korzystają ze średniego poziomu wysiłku. Wiąże się to z utratą około 5–11 punktów Intelligence Index. W przypadku Claude Opus 5.5 czas wykonania zadania spada z około 26 minut, a koszt z 10,04 USD przy maksymalnym poziomie wysiłku, do około 6,8 minuty i 2,45 USD przy średnim poziomie.
• Endpointy optymalizowane wyłącznie pod kątem szybkości dekodowania odnotowują największy spadek szybkości generowania wyjścia od początku do końca; Artificial Analysis podaje, że najszybsze endpointy GLM-5.3 w trybie strumieniowym potrzebują od 18 do 26 sekund na wygenerowanie pierwszego tokena.

To wyniki własnych pomiarów Artificial Analysis.