Arena publica como código abierto dos conjuntos de datos de desarrollo web de su estudio Interaction-as-a-Judge

Arena publica dos conjuntos de datos: ArenaWebdevPreferences, con 6,390 pares de aplicaciones etiquetados según las preferencias humanas, y ArenaWebdevCorrectness, con 189 versiones de juegos y 362 requisitos verificados por personas.

Proceden del estudio Interaction-as-a-Judge de Arena. Arena informa de estos resultados:

• Los agentes que usan la computadora e interactúan con una aplicación detectan más errores que los evaluadores que solo leen el código: 71.1% frente a 63.0%.
• Al usar este enfoque como recompensa para el aprendizaje por refuerzo, la tasa de victorias de Qwen-3.5-9B aumenta 6.7 puntos, unos 50 puntos de Arena.
• La reparación iterativa corrige el 75.5% de los requisitos incumplidos, frente al 55.4% con un evaluador que solo analiza el código.

Las cifras son de la propia Arena.