Arena veröffentlicht zwei Webentwicklungs-Datensätze aus seiner Studie „Interaction-as-a-Judge“

Arena veröffentlicht zwei Datensätze: ArenaWebdevPreferences mit 6.390 App-Paaren, die menschliche Präferenzbewertungen enthalten, und ArenaWebdevCorrectness mit 189 Spielversionen und 362 von Menschen verifizierten Anforderungen.

Sie stammen aus Arenas Studie „Interaction-as-a-Judge“. Arena berichtet folgende Ergebnisse:

• Computer-Use-Agenten, die mit einer App interagieren, erkennen mehr Fehler als Beurteilende, die nur den Code lesen: 71,1 % gegenüber 63,0 %.
• Als Reward für Reinforcement Learning eingesetzt, steigert der Ansatz die Gewinnrate von Qwen-3.5-9B um 6,7 Prozentpunkte, also um etwa 50 Arena-Punkte.
• Bei iterativer Fehlerbehebung werden 75,5 % der fehlerhaften Anforderungen korrigiert, gegenüber 55,4 % mit einem reinen Code-Beurteiler.

Die Zahlen stammen von Arena selbst.