ArenaのAgent Arena、出力トークン数と待ち時間に対する性能のプロットを追加

リーダーボードを公開するArenaによると、Agent Arenaでタスクの費用に加え、生成された出力トークン1個あたり、またユーザーが待つ1分あたりの性能が最も高いエージェントが分かるようになった。Arenaは、同じ水準の知能でも費用が10倍、必要な出力トークン数が6倍、所要時間が2倍になることがあるとしている。

Arenaは、実際の利用状況に基づくこれらのプロットから、知能を高めるほど費用が最も急激に増加し、待ち時間を延ばす効果にはばらつきがあり、出力トークン数は請求額をほとんど予測できないと述べている。数値はArena独自のもの。プロットはarena.aiのAgent Arena Paretoリーダーボードで確認できる。