Arena’s Agent Arena voegt grafieken toe die prestaties afzetten tegen het aantal outputtokens en de wachttijd

Arena, uitgever van de ranglijst, zegt dat Agent Arena nu laat zien welke agents de beste prestaties leveren per gegenereerd outputtoken en per minuut dat een gebruiker wacht, naast de kosten per taak. Volgens Arena kan hetzelfde intelligentieniveau 10× meer kosten, 6× meer outputtokens vergen en twee keer zo lang duren.

Op basis van deze grafieken, die zijn samengesteld uit gebruik in de praktijk op Arena, zegt het bedrijf dat de kosten het sterkst stijgen met de intelligentie, langer wachten niet altijd evenveel oplevert en het aantal outputtokens de rekening nauwelijks voorspelt. De cijfers zijn afkomstig van Arena zelf. De grafieken staan op de Pareto-ranglijst van Agent Arena op arena.ai.