Arena libera dois conjuntos de dados de desenvolvimento web de seu estudo Interaction-as-a-Judge

A Arena está lançando dois conjuntos de dados: ArenaWebdevPreferences, com 6.390 pares de aplicativos rotulados segundo preferências humanas, e ArenaWebdevCorrectness, com 189 versões de jogos e 362 requisitos verificados por humanos.

Eles vêm do estudo Interaction-as-a-Judge da Arena. A Arena relata os seguintes resultados:

• Agentes de uso de computador que interagem com um aplicativo detectam mais erros do que avaliadores que apenas leem o código: 71,1% contra 63,0%.
• Usada como recompensa para aprendizado por reforço, a abordagem aumenta em 6,7 pontos a taxa de vitórias do Qwen-3.5-9B, cerca de 50 pontos na Arena.
• O reparo iterativo corrige 75,5% dos requisitos que não funcionam, contra 55,4% com um avaliador que analisa apenas o código.

Os números são da própria Arena.