Arena rilascia come open source due dataset per lo sviluppo web tratti dallo studio Interaction-as-a-Judge

Arena rilascia due dataset: ArenaWebdevPreferences, con 6.390 coppie di app corredate da etichette di preferenza umane, e ArenaWebdevCorrectness, con 189 versioni di giochi e 362 requisiti verificati da persone.

Provengono dallo studio Interaction-as-a-Judge di Arena. Arena riporta questi risultati:

• Gli agenti che usano il computer e interagiscono con un'app rilevano più errori dei valutatori che leggono soltanto il codice: 71,1% contro 63,0%.
• Usato come ricompensa per l'apprendimento per rinforzo, l'approccio aumenta di 6,7 punti il tasso di vittoria di Qwen-3.5-9B, circa 50 punti Arena.
• La riparazione iterativa corregge il 75,5% dei requisiti non soddisfatti, contro il 55,4% con un valutatore che esamina solo il codice.

I dati sono forniti da Arena.