Arena publie en open source deux jeux de données de développement web issus de son étude Interaction-as-a-Judge

Arena publie deux jeux de données : ArenaWebdevPreferences, qui comprend 6 390 paires d’applications annotées selon les préférences humaines, et ArenaWebdevCorrectness, qui contient 189 versions de jeux et 362 exigences vérifiées par des humains.

Ces jeux de données sont issus de l’étude Interaction-as-a-Judge d’Arena. Arena rapporte les résultats suivants :

• Les agents qui utilisent un ordinateur et interagissent avec une application détectent plus d’erreurs que les évaluateurs qui se contentent de lire le code : 71,1 % contre 63,0 %.
• Utilisée comme récompense pour l’apprentissage par renforcement, cette approche augmente de 6,7 points le taux de victoire de Qwen-3.5-9B, soit environ 50 points Arena.
• La réparation itérative corrige 75,5 % des exigences non satisfaites, contre 55,4 % avec un évaluateur qui n’examine que le code.

Ces chiffres sont ceux d’Arena.