Arena: Gemini 4 Hydrogen to najszybszy model w pierwszej dziesiątce Agent Arena

Według Arena Gemini 4 Hydrogen od Google to najszybszy model w pierwszej dziesiątce Agent Arena, a typowy krok trwa 7,3 sekundy. Według danych Arena oznacza to, że jest około 2,7 raza szybszy od Claude Sonnet 5.5 i 3,1 raza szybszy od GPT-6.1 Sol.

• W sesjach Agent Arena Hydrogen wykonuje 82% zadań w mniej niż 10 minut, w porównaniu z 55% w przypadku GPT-6.1 Sol i 44% w przypadku Claude Sonnet 5.5. W ciągu 30 minut odsetki te wynoszą odpowiednio 97%, 81% i 78%.
• Arena twierdzi, że łączna poprawa Hydrogen jest porównywalna z poprawą obu modeli, więc większa szybkość nie odbywa się kosztem jakości.
• Arena definiuje krok jako jedno wywołanie API modelu w zadaniu Agent Mode. Czas mierzy od pierwszego żądania do modelu do ostatniej strumieniowanej odpowiedzi, nie uwzględniając wykonywania narzędzi.