Agent Arena dari Arena menambahkan grafik kinerja dibandingkan dengan jumlah token keluaran dan waktu tunggu

Arena, penerbit papan peringkat, mengatakan Agent Arena kini menampilkan agen mana yang memberikan kinerja terbaik untuk setiap token keluaran yang dihasilkan dan setiap menit pengguna menunggu, selain biaya tugas. Arena mengatakan tingkat kecerdasan yang sama bisa berbiaya 10× lebih mahal, membutuhkan 6× lebih banyak token keluaran, dan memakan waktu dua kali lebih lama.

Berdasarkan grafik ini, yang dibuat dari penggunaan nyata di Arena, biaya meningkat paling tajam seiring kecerdasan, menunggu lebih lama memberikan hasil yang tidak merata, dan jumlah token keluaran hampir tidak bisa memprediksi tagihan. Angka-angka tersebut berasal dari Arena sendiri. Grafiknya tersedia di papan peringkat Pareto Agent Arena di arena.ai.