Arena、Interaction-as-a-Judge研究からWeb開発用データセット2種をオープンソース化

Arenaは2つのデータセットを公開します。ArenaWebdevPreferencesには人間の選好ラベルが付いたアプリのペアが6,390組、ArenaWebdevCorrectnessにはゲームのバージョンが189件、要件が362件含まれ、いずれも人間による検証済みです。

これらはArenaのInteraction-as-a-Judge研究から得られたものです。Arenaは次の結果を報告しています。

• アプリを操作するコンピュータ操作エージェントは、コードだけを読む評価者より多くのエラーを検出します。検出率は71.1%対63.0%です。
• 強化学習の報酬としてこの手法を使うと、Qwen-3.5-9Bの勝率が6.7ポイント向上します。Arenaポイントに換算すると約50ポイントです。
• 反復修正により、要件の不具合の75.5%が修正されます。コードのみを評価する判定者では55.4%です。

これらの数値はArenaによるものです。