Arena stelt twee datasets voor webontwikkeling uit zijn Interaction-as-a-Judge-onderzoek open source beschikbaar

Arena stelt twee datasets beschikbaar: ArenaWebdevPreferences, met 6.390 app-paren met menselijke voorkeurslabels, en ArenaWebdevCorrectness, met 189 gameversies en 362 door mensen geverifieerde vereisten.

Ze zijn afkomstig uit Arena's Interaction-as-a-Judge-onderzoek. Arena meldt de volgende resultaten:

• Agents die een computer bedienen en met een app werken, detecteren meer fouten dan beoordelaars die alleen de code lezen: 71,1% tegenover 63,0%.
• Als beloning voor reinforcement learning verhoogt deze aanpak het winstpercentage van Qwen-3.5-9B met 6,7 procentpunt, ongeveer 50 Arena-punten.
• Iteratief herstel verhelpt 75,5% van de niet-werkende vereisten, tegenover 55,4% met een beoordelaar die alleen de code beoordeelt.

De cijfers zijn afkomstig van Arena zelf.